AWS

今回はGlueのETLジョブでS3上のparquetファイルをまとめる処理を作ってみました。

Glueジョブの作成

Glueのバージョンは以下の設定で作成しました。
特に意図はなく最新にしています。

Spark ...

CircleCI

CircleCI2.0のrunステップは宣言するたびに新たなシェルが立ち上がるため、通常ならrunステップ間で変数の共有はできません。

1つのrunステップにずらずらとコードを書くと処理内容の見通しも悪くなるので、できるだ ...

シェルスクリプト

1日毎でループして処理を実行するシェルです。
データを扱っていると日毎でデータを移行するといった作業が時折発生し、
都度調べていたのでここにメモとして残しておきます。

#!/bin/bashSTART_DATE= ...

CircleCI

CircleCIでS3からデータを取得してBigQueryに流し込むみたいなことをしたくなり、
イメージをいろいろ探してみたのですが微妙にいいものが見つからず、
自分でインストールすることにしました。

confi ...

BIツール

UI

UIはどちらもきれいなグラフを作成することができます。
個人的には 自由度が高いData Portalのほうが好きです。

とっつきやすさはQuickSightのほうが良かったとは思いますが、
慣れてくる ...

SQL

generate_series

日毎の数値をグラフ化しようとすると日によっては数値がないケースもあり、きれいなグラフを作れないことがあります。

PostgreSQLではそんな時に generate_series 関数を利用し ...

AWS

まずは公式のクエリ料金を普通に見てみます。

クエリ料金

リージョンはそれぞれ東京リージョンで比較します。

Athenaスキャンされたデータ 1 TB あたり 5USDBigQuery$8.55 per TB

Big ...

AWS勉強

今回はAthenaでテーブルを作成してクエリを実行してみたいと思います。

Athenaとは(公式リンク)

詳しくは公式や他のサイトにいくらでも説明があるのでここでは簡単に

AWSのクエリ実行サービス
独自のストレ ...

自作PC

ASRock B365M Pro4のマザーボードでメモリを指す位置を間違えうまく起動できなかった事象があったので備忘録として残しておきます。

ASRock B365M Pro4はデュアルチャンネル対応でレイアウトはこんな感 ...

自作PC

2012年くらいに購入したPCが調子悪くなってきたので、
思い切って自作PCに挑戦することにしました!!

目標はFF14を高品質で快適にプレイできるPCです!

正直なところ、かなりひさしぶりで最近のPC ...