AWS, Redash

AWS Marketplaceにある「Re:dash Certified by Bitnami」を使ってredashを試してみます。

セットアップの手順は以下のページを参考にしました。

インスタンス起動

AWS勉強

rails5からRedshiftへ接続するために次のライブラリを利用します。

activerecord5-redshift-adapter

activerecord5-redshift-adapterのインストール

GCP

BIツールについて調べる機会があり Googleデータポータル を実際に利用してみて使い勝手などを調べてみました。

GoogleデータポータルとはGoogleが無償で提供するBI(ビジネス・インテリジェンス)ツール
グラフ ...

AWS勉強

Lambda の Layer 機能を使い汎用的な関数などを共通化してみます。
開発はServerless Frameworkで行います。

Layer作成

以下のようなディレクトリ構成でLayerを作成します。

AWS勉強

Lambdaのコードを書く際は何かとS3のファイル一覧を取得するような処理が必要になることがあります。

boto3を利用してS3のファイル一覧の取得をしてみます。

boto3インストール

AWSサービスの操作を行 ...

AWS勉強

AWSのLambdaの開発をするのに便利なServerless Frameworkのインストール~デプロイまでやってみます。

Serverless Frameworkとは

AWS Lambdaのようなサーバーレスアプリケーシ ...

AWS勉強

AWSにはサーバーレスでプログラムを実行できる Lambda というものがあることは知っていましたが、理解を深めるためにも改めて調べてみます。

Lambdaの特徴サーバーレス
オートスケール
利用時間に対して料金発生 ...

digdag

digdagを触っていてWeb UIのログが表示されない現象に遭遇しました。

task-logも正常に出力されてるし、digdag logコマンドでも正常に出力される。

解決

よくわからないまま小一時間悩んだ結果 ...

digdag

前回はdigdagのインストールと簡単な動作確認まで行いました(前回の記事)
今回は実際にdigdagのワークフローを実践してみます

ワークフロー作成

お試しでワークフローを作成するなら digdag init コマ ...

digdag

私はバッチ処理をつくった時、それを管理するのに digdag をよく利用させてもらっています。
digdag とはワークフローエンジンのことでバッチ処理のスケジューリングや実行順の制御、並列実行などを簡単に実現できます。