ワークフローオーケストレーション入門

概要

• 123ページの大作

• ワークフローオーケストレーションの歴史的な話もあって面白かった
• cron → RDB → DWH → Hadoop, DataLake → Hadoopのオーケストレーションツール登場 → モダンデータスタック
• モダンデータスタック
• 従来の課題を解決しようとする技術トレンドの総称

• ワークフローツールの機能

• 6つのワークフローツールを比較している
• AirFlow、PREFECT、digdag、dagster、argo 、AWS Step Functions
• 実装コード例、UIなども書かれている

• DigDagからPrefectに移行した事例も
• ML系タスクをDigDagやStep Functionsで書こうとすると巨大yamlやjsonを見ることになるので、認知負荷高いのは分かりみが深かった