AWS, シェルスクリプト

S3の容量がディレクトリ毎でどれくらい使っているかを知りたいと思いやり方を調べてみたのですが、 コマンド一発で簡単にできるみたいな方法はみつかりませんでした。

大量のディレクトリがあったので手動でコマンド叩くのもめんどうす ...

AWS

今回はGlueのETLジョブでS3上のparquetファイルをまとめる処理を作ってみました。

Glueジョブの作成

Glueのバージョンは以下の設定で作成しました。
特に意図はなく最新にしています。

Spark ...