FMOps/LLMOps:生成系 AI の運用と MLOps との違い

 

概要

  • LLMOpsってMLOpsと何が違うんだっけ?と思いいろいろサーベイしした中のひとつの資料。
  • 前提として、LLMという巨大でコストの大きなモデルを扱うからこそ、諸々の処理をより効率的に行える仕組みが必要
  • LLMOpsならではの機構としては、たとえば以下のようなものか。本質的に従来のMLOpsと変わった点があるのかはしっくりこなかったが、重要性が増したのは確かだと思う。
    • プロンプト管理
    • RAGシステム
      • システム自体
      • ベクトル更新の仕組み
    • LLMを使った性能評価
  • その他の特徴的な点として、MLOpsのフローにMLに専門性を高く持たない方が入るようになったことか。そのようなメンバーがうまくLLMのパワーを活用でき、時には越境してMLならではの部分に触れられる必要性が出てくる。
    • 生成系AI開発者
    • プロンプトエンジニア
    • プロンプトテスター