LayerX 採用情報
/
📖
Media Bookmark List
/
LayerX Machine Learning勉強会
/
TOPIC
/
無駄な仕事を増やしてませんか? ~ MLの実行パイプラインで重複作業をなくす ~
採用中ポジション一覧
カジュアル面談
採用中ポジション一覧
カジュアル面談
LayerX 採用情報
/
📖
Media Bookmark List
/
LayerX Machine Learning勉強会
/
TOPIC
/
無駄な仕事を増やしてませんか? ~ MLの実行パイプラインで重複作業をなくす ~
無駄な仕事を増やしてませんか? ~ MLの実行パイプラインで重複作業をなくす ~
2023/12/21
7:08
2023/12/21
8:17
概要
エムスリーさんのMLOps記事
既存の仕組みではパイプライン実行時にTaskの実行計画を行う。それによる無駄なタスクの実行リソース削減や、競合によるキャッシュの破壊を防ぎたいというモチベーション
Taskの無駄な実行を減らすために以下の2つのアプローチ
complete_check_at_runで完了済みのタスクをスキップする
Taskの実行順を可能な範囲でランダムにする
Post on X