⼤規模⾔語モデルとVision-and-Language

概要

• IBIS 2023の企画セッション「Vision and Languageの最前線」での、NTT西田さんによる講演資料

• GPT-3やCLIPのような基盤モデルによって何ができるようになったのか
• GPT-3: In-context learningのように少数の例示による学習
• CLIP: 画像生成やモーション生成など

• Instruction Tuning
• Instruction tuningしたFLAN [ICLR 2022] (137B)がGPT-3 (175B)を上回り、一部タスクではタスク特化したモデルも上回ると話題に
• Visual Instruction tuning [NeurIPS 2023]も提案されている
• Captionsとオブジェクト名 + BBoxesをGPT-4に渡してデータを生成 (Turingでやってるやつみたいな？)
• 参考：https://zenn.dev/turing_motors/articles/64936f88ba720e
• LLaVA [NeurIPS 2023]やInstructBLIPなどLLMなどの重みは固定した上で一部の重みだけをInstruct tuningさせる手法も登場

• ChatGPTとGPT-4V
• RLHFの説明がわかりやすい
• p.27からのGPT-4Vはどのような性能を示すのか事例から説明してくれているのが面白い
• 位置関係などはまだちょっと難しそうだが、ある程度できてる
• 文書画像についてもある程度できている