FMOps/LLMOps:生成系 AI の運用と MLOps との違い
概要
- LLMOpsってMLOpsと何が違うんだっけ?と思いいろいろサーベイしした中のひとつの資料。
- 前提として、LLMという巨大でコストの大きなモデルを扱うからこそ、諸々の処理をより効率的に行える仕組みが必要
- LLMOpsならではの機構としては、たとえば以下のようなものか。本質的に従来のMLOpsと変わった点があるのかはしっくりこなかったが、重要性が増したのは確かだと思う。
- プロンプト管理
- RAGシステム
- システム自体
- ベクトル更新の仕組み
- LLMを使った性能評価
- その他の特徴的な点として、MLOpsのフローにMLに専門性を高く持たない方が入るようになったことか。そのようなメンバーがうまくLLMのパワーを活用でき、時には越境してMLならではの部分に触れられる必要性が出てくる。
- 生成系AI開発者
- プロンプトエンジニア
- プロンプトテスター
- …