概要

TerraformとHelmを使用して、gcloudコマンドやkubectlコマンドを使わずに、Rodel van Rooijen氏のMediumの記事に沿ってGKE上にAirflowクラスタを作成します。

TerraformとHelmのコードは下記のGitHub リポジトリに置いてます。

元の記事とは異なる点がいくつかあるので、ご注意ください。

Airflow Web UIはインターネットに公開されます。
KubernetesのPersistent Volumeを手動で作成 (kubectl apply) する必要はありません。KubernetesのPersistent Volume ClaimによってCompute Diskが自動的に作成されます。詳細はPersistent volumes and dynamic provisioning（永続ボリュームと動的プロビジョニング）を参照してください。
ログはPodのライフサイクル中のみ利用可能です。ログを永続化したい場合は、Airflow Helm: Manage logs（Airflow Helm：ログの管理）を参照してください。
Compute Engine DiskはDAGファイルの管理には使用されません。DAGファイルを効率的に管理したい場合は、Airflow Helm: Manage DAGs files（Airflow Helm：DAGファイルの管理）を参照してください。

terraform applyの前に準備すること

terraform applyするには、以下のコマンドラインツールを準備する必要があります。

また、下記の点にご注意ください。

Terraformのコードは、GKEの認証情報を上書きするために~/.kubeディレクトリを削除します。必要であれば、事前に~/.kubeディレクトリをバックアップしてください。
Terraformの適用前にGCPプロジェクトが作成済みであり、必要なGCP APIがすべて有効になっている必要があります。