LLMの現在

概要

• 以下のTOPICについてまとめられているPreferred Elementsの良資料
• LLMの歴史
• LLMの技術と課題
• 日本のLLMが必要な理由

• LLMの歴史
• 計算資源律速 → データ蓄積 & 整理能力律速になってくる

• LLMの技術と課題
• LLMのモデル構造から、前処理、事前学習、アライメントの重要性、高速化、パラメータ効率、推論効率の改善など幅広い技術に対して網羅的に説明
• ベンチマークの難しさや長い文脈の難しさ、ライセンス問題などが課題。

• 日本のLLMが必要な理由
• 正しいことは国によって異なる。LLMはある程度汎化されてるとは言え、特定の目的関数を最適化するため、複数の倫理・正義を持つことは難しい
• 日本の文化に適応されない状態は、中央銀行を失ったような状態で、経済活動の柔軟性・俊敏性が失われる
• 計算資源律速の間に高性能なLLMを開発しなければ、将来的にデータを死蔵させてしまう