Delta Lakeを用いたLLM処理基盤
- 国内の企業情報を収集し、会社概要を生成できるようにしたい
- 高品質な会社概要を低コストで出力するためLLMを活用
- 収集データを入力し、会社概要を得る
- 生成した文章をLLMに評価させる
- 品質とコストの両観点に注目
- 品質: LLMに生成された文章をLLMに評価させた時の正確性
- コスト: 人件費（人によるアノテーション） vs. LLMのAPI利用量
- LLMによる評価方法
- LLMによって生成された文章が、必要要件を満たしているかを3点満点で採点
- 人による採点（真の評価）と比較し、評価の正確性を確認する
- 評価結果（内容の正しさ）
- LLMによる評価が満点のうち、その評価が正しかったものは約91%
- 全体の中で、LLMのみで正しい文章を生成できたのは約24%
- 品質を追求しつつコストのバランスを考えるなら、「LLMによる生成 & 評価 → 満点のもののみ人間が確認してリリース」がよさそう
