GKE上にAirflowを構築する
TerraformとHelmを使用して、gcloudコマンドやkubectlコマンドを使わずに、Rodel van Rooijen氏のMediumの記事に沿ってGKE上にAirflowクラスタを作成します。 TerraformとHelmのコ
Airflow
7 記事
AirflowのカスタムTrigger
ComposerのAirflowのカスタムTriggerを作成した。 色々と難しかったけど、使えるとリソース消費を抑えられて、コスト抑制できるのでおススメ。 定期的にAPIでBigQueryテーブルの更新状況をチェックして更新されていたら、
Airflowを試してみる
AirflowではワークフローをDAGと呼ぶ。DAGは複数のTaskからなる。 Taskが様々な処理を実行し、DAGが各Taskの実行順序を定義する。 TaskにはOperartorやSensorといった種類がある。 なので、関係性は次のよ
GKEでAirflowを動かす
GKEでAirflowを動かして、外部NWからAirflow UIにアクセスしたい。 HTTPSで通信を暗号化したい。 External HTTP(S) Load Balancingを使用した構成にする。こいつでHTTPS終端する。 GKE
AirflowがわからなかったのでUdemyで勉強してみた②
UdemyのAirflow講座で勉強したことのメモ。 この記事では主に事前設定やコードについて記載。 Udemyの講座ではDockerを使って、AirflowだけでなくPostgresSQLなどのコンテナも動かすので、自分の貧弱なPCスペッ
AirflowがわからなかったのでUdemyで勉強してみた
AirflowのTutorialをやっても、短時間で理解できなさそうだったのでUdemyの講座を試してみました。 英語の講座だったのでちょっとしんどかったので、半分くらいのとこまでしかやってません。 超初歩はなんとなくわかりました。 と、い
Airflowを試してみる ～ Quick Start
AirflowのQuick Startを参考にして、WSL Ubuntu 20.04上にAirflowをインストールする。 以下はQuick Startからの抜粋。 airflow standaloneを実行した結果、airflow.cfg