無駄な仕事を増やしてませんか? ~ MLの実行パイプラインで重複作業をなくす ~

概要

  • エムスリーさんのMLOps記事
  • 既存の仕組みではパイプライン実行時にTaskの実行計画を行う。それによる無駄なタスクの実行リソース削減や、競合によるキャッシュの破壊を防ぎたいというモチベーション
  • Taskの無駄な実行を減らすために以下の2つのアプローチ
    • complete_check_at_runで完了済みのタスクをスキップする
    • Taskの実行順を可能な範囲でランダムにする