BigQuery, Fluentd

fluentd-plugin-bigqueryでBigQueryストリーミングインサートする際に実際に負荷を与えてみました

構成

FluentdをインストールしたEC2からそれぞれストリーミングインサートでBigQueryに ...

Fluentd

以前、FluentdからBigQueryへのログ送信をした時は「forest – copy – bigquery_insert」の順で書いてしまったのですが、copyでBigQuery以外にも出力したい時などに ...

Fluentd, GCP

前回、fluentdに送信したログをBigQueryに出力という記事を書きましたが、
ログの種類によって別のテーブルへ出力したいといったことがあり実際に試してみました。

実現方法ログを送信する際のタグからBigQuery ...

Fluentd, GCP

BigQueryのTIMESTAMPはUTC時間にしか対応してません。
単純にログを出力すると日本時間がUTC時間としてBigQueryのデータができてしまいます。

前回の記事でfluentdに送信したログをBig ...

Fluentd, GCP

fluentdに送信したログをBigQueryに出力してみました。

「fluent-plugin-bigquery」というFluentdのプラグインを利用します。
出力する方法は2パターンあり

ストリーミング ...