AWS, GCP

BigQueryを利用するにあたりRedshiftのデータをBigQueryに移行する必要がありました。
その際の手法や手順などについて紹介します。

前提RailsからRedshiftのクエリを実行できるようにしておくこ ...

AWS, シェルスクリプト

S3の容量がディレクトリ毎でどれくらい使っているかを知りたいと思いやり方を調べてみたのですが、 コマンド一発で簡単にできるみたいな方法はみつかりませんでした。

大量のディレクトリがあったので手動でコマンド叩くのもめんどうす ...

AWS

今回はGlueのETLジョブでS3上のparquetファイルをまとめる処理を作ってみました。

Glueジョブの作成

Glueのバージョンは以下の設定で作成しました。
特に意図はなく最新にしています。

Spark ...

AWS

まずは公式のクエリ料金を普通に見てみます。

クエリ料金

リージョンはそれぞれ東京リージョンで比較します。

Athenaスキャンされたデータ 1 TB あたり 5USDBigQuery$8.55 per TB

Big ...

AWS

Metabase の公式ドキュメントにある Elastic Beanstalk を使った Metabase の環境構築ガイドを参考に環境構築を行いました。

環境構築

以下のリンクから AWS Elastic Beanstal ...

AWS, Redash

AWS Marketplaceにある「Re:dash Certified by Bitnami」を使ってredashを試してみます。

セットアップの手順は以下のページを参考にしました。

インスタンス起動

AWS

RedshiftのデータをUNLOADしてCSVファイルにする際、
改行を改行文字列に変換しようとしてどはまりしました。

やりたかったこと

改行を含む文字列カラムの値を文字列の「\n」に変換してCSV出力する