Kubeflow Pipelines の local 実行で開発効率を上げる

概要

  • 機械学習で使うような大きなイメージをpushして、kfpのパイプラインをリモートで実行するとコンテナのpullによる待ち時間が発生して効率が悪い。
    • (Vertex AI Pipelinesの場合は、インスタンス確保の時間とかもありそう)
  • 開発段階ではローカルでパイプラインを回すほうが効率が良い
  • 以下のようにすることで同じパイプライン定義を使いながらローカル実行ができるらしい。
    • でも問題ない
  • pipeline実行の場合はまだサポートされていないらしく、を削除して実行しなければいけないらしい