Kubeflow Pipelines の local 実行で開発効率を上げる
概要
- 機械学習で使うような大きなイメージをpushして、kfpのパイプラインをリモートで実行するとコンテナのpullによる待ち時間が発生して効率が悪い。
- (Vertex AI Pipelinesの場合は、インスタンス確保の時間とかもありそう)
- 開発段階ではローカルでパイプラインを回すほうが効率が良い
- 以下のようにすることで同じパイプライン定義を使いながらローカル実行ができるらしい。
- でも問題ない
- pipeline実行の場合はまだサポートされていないらしく、を削除して実行しなければいけないらしい