品質要件が厳しいLLMアプリケーションのトライアル評価を通じて得た知見

(特徴的な図を写真一枚で)

概要

  • メルカリさんのLLMハッカソン(ぐげん会議)の入賞作品について、「評価」を行なった内容についての記事
  • 「評価」にはさまざまな観点があるが、アプリケーションの性質に基づいて優先度を決めて項目ごとに丁寧に評価が行われていて素敵だなと思った。
  • 金融系はアウトな領域がぼちぼちあるので生成文をユーザーに投げるのこえ〜とは思った。