無駄な仕事を増やしてませんか？ ~ MLの実行パイプラインで重複作業をなくす ~

概要

• エムスリーさんのMLOps記事

• 既存の仕組みではパイプライン実行時にTaskの実行計画を行う。それによる無駄なタスクの実行リソース削減や、競合によるキャッシュの破壊を防ぎたいというモチベーション

• Taskの無駄な実行を減らすために以下の2つのアプローチ
• complete_check_at_runで完了済みのタスクをスキップする
• Taskの実行順を可能な範囲でランダムにする