ワークフローオーケストレーション入門
概要
- 123ページの大作
- ワークフローオーケストレーションの歴史的な話もあって面白かった
- cron → RDB → DWH → Hadoop, DataLake → Hadoopのオーケストレーションツール登場 → モダンデータスタック
- モダンデータスタック
- 従来の課題を解決しようとする技術トレンドの総称
- ワークフローツールの機能
- 6つのワークフローツールを比較している
- AirFlow、PREFECT、digdag、dagster、argo 、AWS Step Functions
- 実装コード例、UIなども書かれている
- DigDagからPrefectに移行した事例も
- ML系タスクをDigDagやStep Functionsで書こうとすると巨大yamlやjsonを見ることになるので、認知負荷高いのは分かりみが深かった