FMOps/LLMOps：生成系 AI の運用と MLOps との違い

概要

• LLMOpsってMLOpsと何が違うんだっけ？と思いいろいろサーベイしした中のひとつの資料。

• 前提として、LLMという巨大でコストの大きなモデルを扱うからこそ、諸々の処理をより効率的に行える仕組みが必要

• LLMOpsならではの機構としては、たとえば以下のようなものか。本質的に従来のMLOpsと変わった点があるのかはしっくりこなかったが、重要性が増したのは確かだと思う。
• プロンプト管理
• RAGシステム
• システム自体
• ベクトル更新の仕組み
• LLMを使った性能評価

• その他の特徴的な点として、MLOpsのフローにMLに専門性を高く持たない方が入るようになったことか。そのようなメンバーがうまくLLMのパワーを活用でき、時には越境してMLならではの部分に触れられる必要性が出てくる。
• 生成系AI開発者
• プロンプトエンジニア
• プロンプトテスター
• …