BigQuery, Fluentd

fluentd-plugin-bigqueryでBigQueryストリーミングインサートする際に実際に負荷を与えてみました

構成

FluentdをインストールしたEC2からそれぞれストリーミングインサートでBigQueryに ...

GCP

FluentdからBigQueryへストリーミングインサートしていた時に以下のようなエラーが発生していました。

Value 1517382940000000 for field time of the destination t ...

Fluentd

以前、FluentdからBigQueryへのログ送信をした時は「forest – copy – bigquery_insert」の順で書いてしまったのですが、copyでBigQuery以外にも出力したい時などに ...

AWS, GCP

BigQueryを利用するにあたりRedshiftのデータをBigQueryに移行する必要がありました。
その際の手法や手順などについて紹介します。

前提RailsからRedshiftのクエリを実行できるようにしておくこ ...