今週のTOPIC

[blog] 無料で学ぶ！生成AIとバズった技術まとめ（LLM、LangChain、Dify、SAM2、Stable Diffusion、RVCなど）

• 生成AI系のサービスを網羅的にまとめてくれている良記事。知らないサービスも結構あった。

• 資料良く作る人は資料作成系や図作成系も便利そう

[論文] Chain of Agents: Large language models collaborating on long-context tasks

Agentsとタイトルに含まれているが、自由な問題に対して自律的に問題解決を行うといったagenticなものとはちょっと趣旨が違う論文。NeurIPS 2024

RAGでコンテクストを与えるのだと、Retrival部分性能の不足でコンテクスト欠落の可能性がでてしまうし、コンテキスト長を十分に長くできるようにするモデルチューニングはコストがかかってしまうというどっちつかずの問題に対処するための手法を考えましたと言う論文。

 

アイディアは比較的シンプル。

1. 複数のエージェントが協調して長いテキストを処理

2. 各ワーカーエージェントが順番にテキストの一部を担当し、情報を次のエージェントに伝達

3. 最後にマネージャーエージェントが全体を統合して最終的な出力を生成

 

 

lost in the middle問題や、RAGのRetrieval性能リスクを緩和・解消し、長いコンテクストでの計算効率を達成した

[blog] 言語モデル活用によるショッピングレコメンドの改善

• Yahooショッピングのレコメンド

• 従来のログベースの商品特徴量に加えて、BERTの推論スコア（BERT score）を追加

• ユーザーの行動ログを用いてBERTモデルをfine-tuning
• ベースとなる事前学習済みモデルは社内で開発されたショッピングコーパス特化のBERTモデル

• 本番環境での運用
• BERTモデルの定常学習・運用
• 出力スコア（BERT score）の分布ドリフトが発生するとスコアを利用する後段モデルに悪影響を及ぼすため、以前の学習で利用したデータと新規に収集したデータ両方を利用してモデルを定期的に再学習し、急激なドリフトの発生を抑制
• 推論パイプラインの開発
• Yahoo!ショッピングでは扱う商品数が非常に多く、商品を絞り込んだ場合でも依然として膨大な組み合わせが存在
• PySpark（Spark）を活用して推論処理を並列化し、バッチジョブとして実行

• オフライン評価・オンラインA/Bテストの結果
• オフライン指標
• ログを使い、NDCG@k（ランキング上位k件の順序評価）を評価
• オンライン指標
• サービスに実装し、CTR（レコメンドのクリック率）、CVR（レコメンド経由の購買率）を計測

---

メインTOPIC

概要

• 大規模言語モデルの学習におけるsupervised fine-tuning (SFT)とreinforcement learning (RL)の効果を比較分析した論文

• RLは汎化性能が高い。言語のみ、画像と言語の両パターンにおいて、学習したことを未知の状況に適用できる。

• SFTは記憶に依存する。訓練データをそのまま暗記する傾向が強く、未知の状況での性能が低く出がち。

• SFTはRLの前段階として重要。モデルの出力フォーマットを安定化させ、その後のRL学習を効果的にする

関連研究

• Post-training
• モデルの性能向上に重要なSFT, RLのそれぞれの過去研究について紹介されている

• 言語モデル・視覚言語モデルにおける記憶と汎化
• 単純な知識集約型タスクでは、複雑な推論タスクに対してオーバーフィッティングが起きやすいといった研究などが紹介されている

• 推論時の計算量のスケーリング
• 最終的な回答を作るまでに複数段階の推論ステップを構築するような手法から、GPT o1 や DeepSeek R1 のような推論時の計算資源増加による性能向上をとりあげている。
• 第一に、推論時の検証に関する知見をマルチターンのRLフレームワークに統合し、モデルが自身の誤りを特定し修正できるようにする。第二に、推論時の検証が強化学習の汎化に与える影響を調査し、推論時の検証のスケールアップが強化学習の汎化にとって重要な要素であることを示したのが本論文の貢献。

• VLMの視覚能力の性能向上
• 過去研究は主にSFTによる性能向上がおもだが、RLによって視覚認識能力が向上できることを本論文で示している

評価タスク

1. 算数の推論スキルを問う GeneralPoints と言うタスク。
• タスクの種類
• テキストのみで与えるもの: GP-L
• 画像（とルール部分はテキスト）で与える: GP-VL

• RLとしては以下のようなイメージ

• バリエーション
• ルールのバリエーション：J, Q, Kを10として扱うルール、J, Q, Kを11, 12, 13として扱うルールといったバリエーションを持たせて汎化性能を探る
• 画像のバリエーション：1色のみで画像を与え学習させるが、テスト時はOODのパフォーマンスを見るために違う色を利用した

2. 現実世界でのナビゲーションを行うV-IRLというタスク https://virl-platform.github.io/#benchmark



• タスクの種類
• 上図Observationをテキスト情報だけで与えるもの: V-IRL-L
• テキスト情報に加え視覚情報を与えるもの: V-IRL-VL
• バリエーション
• ルールのバリエーション：丸暗記ではなく空間情報を学習できているかを探るため、 の絶対方位と、 のような相対方角のバリエーションを用意
• 画像のバリエーション：特定地域のランドマークをそのまま記憶しているかそうでないかを探るため、学習時はひとつの地域のみで行い、評価時は他の地域での検証とした

実験結果

ルールに関する汎化

• ID：‘J’（ジャック）, ‘Q’（クイーン）, ‘K’（キング）を すべて 10 として扱う。

• OOD：‘J’ を 11、‘Q’ を 12、‘K’ を 13 として解釈。

• ID：絶対方位の座標系（north, south, east, west など）を使用。

• OOD：相対方位の行動空間（left, right, slightly left, slightly right）を使用。

視覚的なOODタスクでの汎化

• ID: VLMを黒いスート（♠, ♣）で学習

• OOD: 赤いスート（♥, ♦）でOOD性能をテスト

• ID: モデルをニューヨーク市のルートデータで学習

• OOD: V-IRL VLNミニベンチマーク（Yang et al., 2024a）でテスト

RLが視覚能力にもたらす影響

RLにおけるSFTの役割

検証イテレーションの役割

まとめと今後の課題

• まとめ
• RLは一般化可能な知識を学習するのに優れている
• SFTは学習データを記憶する傾向が強く、ルールや視覚的変動に適応しづらい

• 残論点
• GP-VLにおけるSFTの in-distributionにおける学習がうまくいっていないこと
• SFTのスケーリングは視覚認識能力を低下させるため、SFTは局所的に推論トークンに過適合し、視覚認識トークンを軽視している可能性があるという仮説を立てているがこの検証は今後の課題とする
• Llama-3.2に対して効果的なRLトレーニングをおこなうためにはSFTが必要だと言う結果が出たが、過剰に調整されたSFTチェックポイントに対してRLを適用する追加実験を行ったところ、このような状態からOOD性能を回復することができなかった。
• RLが極端にアンダーフィットまたはオーバーフィットした初期チェックポイントに適用された場合、その効果が限定的になることを示唆していると言えるが、この詳しい検証については今後の課題とする