LLMの現在
概要
- 以下のTOPICについてまとめられているPreferred Elementsの良資料
- LLMの歴史
- LLMの技術と課題
- 日本のLLMが必要な理由
- LLMの歴史
- 計算資源律速 → データ蓄積 & 整理能力律速になってくる
- LLMの技術と課題
- LLMのモデル構造から、前処理、事前学習、アライメントの重要性、高速化、パラメータ効率、推論効率の改善など幅広い技術に対して網羅的に説明
- ベンチマークの難しさや長い文脈の難しさ、ライセンス問題などが課題。
- 日本のLLMが必要な理由
- 正しいことは国によって異なる。LLMはある程度汎化されてるとは言え、特定の目的関数を最適化するため、複数の倫理・正義を持つことは難しい
- 日本の文化に適応されない状態は、中央銀行を失ったような状態で、経済活動の柔軟性・俊敏性が失われる
- 計算資源律速の間に高性能なLLMを開発しなければ、将来的にデータを死蔵させてしまう