今週のTOPIC

[論文] AGENTIF: Benchmarking Instruction Following of Large Language Models in Agentic Scenarios

Yunjia Qi¹*, Hao Peng¹*, Xiaozhi Wang¹, Amy Xin¹, Youfeng Liu², Bin Xu¹, Lei Hou¹, Juanzi Li¹ ¹Tsinghua University ²Zhipu AI

 

Agentシナリオは、拡張されたシステムや詳細なツール仕様など、複雑な制約を含む長い指示を伴うことが多い。 こういったシナリオにおける、LLM の指示に従う能力を体系的に評価するための最初のベンチマークである AgentIF についての論文。

コードとデータセットの両方が公開されている。

• GitHub - THU-KEG/AgentIF: AGENTIF: Benchmarking Instruction Following of Large Language Models in Agentic Scenarios

• THU-KEG/AgentIF · Datasets at Hugging Face

 

ベンチマークの特色

• 現実的：50件の実際のエージェンシー・アプリケーション事例から構築。

• 長大：指示は平均1,723語（最大15,630語）に及ぶ。

• 複雑：平均11.9個の制約を含み、ツール仕様や条件付き制約など多様なタイプを網羅。

 

データセット構築プロセス

1. 指示収集：GitHub上の40種のオープンソースエージェントと、産業向けエージェント10種からシステムプロンプトを取得し、GPT-4oを用いて各約20問のユーザークエリを生成。その後、人手でリライト・フィルタリングを実施し、高品質な707件の指示セットを得ています。

2. 制約抽出・注釈：長大で構造化された指示をブロック単位に分割し、GPT-4oで制約を抽出、さらに人手検証を加えて合計8,415個の制約を高精度にアノテーション。

3. 評価スクリプト生成：各制約に対し、簡易コード検証、LLM検証、ハイブリッド方式のいずれかで自動評価できるようスクリプトを生成・精査。

 

評価指標

• CSR（Constraint Success Rate）：全制約のうち満たされた制約の割合

• ISR（Instruction Success Rate）：全制約を完全に満たした指示の割合

 

実験結果

GPT-4oをはじめとする20超の最先端モデルを評価したところ、最高モデルでもCSR約60%、ISR約27%に止まり、特に条件制約とツール制約で著しい性能低下が見られた。

また、In-Context Learningが効く例示制約では比較的高い成功率を示す一方、条件判断や仕様遵守には大きな課題が残ることが分かった。

 

[blog] Webスケールの日本語-画像のインターリーブデータセット「MOMIJI」の構築 /巨大テキストデータをAWSで高速に処理するパイプライン

• MOMIJI (Modern Open Multimodal Japanese filtered Dataset) は，大規模かつ厳選された，画像とテキストが交互に現れるWeb文書の公開データセット

• 2024 年 2 月から 2025 年 1 月までの Common Crawl から抽出
• 約 5,600 万 (56M) 件の日本語文書，約 1,100 億 (110B) 文字，約 2 億 4,900 万 (249M) 枚の画像

• 類似した他の画像-テキストデータセットと比較した表

• 課題
• 元となるデータセットが巨大であり，取り回しづらい
• 画像やテキストを大量にダウンロードし解析する必要がある
• ひとつひとつのフィルタリングが軽くても，処理対象のファイル数が膨大
• 多段なフィルタリングを順番に管理し実施していく必要がある
• GENIACの限られた期間内でデータセットを完成させる必要がある

MOMIJI構築のパイプライン (AWS Lambda + Step Functions, Batch)

• 実行
• 4,000並列でLambdaを実行
• 画像ダウンロードを含めても1スナップショットあたり6〜8.5時間
• 1 スナップショットで100TiB
• MOMIJIは実際には11スナップショットで構築される大規模なデータセットでありながら，計算時間としては4営業日程度で処理が完了

• うまくいかなかったこと
• いくつかのライブラリがLambda環境や特定のPythonバージョンでは動かない
• LambdaではPythonの並列処理関連は実行環境レベルで利用できないようになっていますが，ライブラリによっては要求してくるものもありました
• 最終的にはDockerfileやモンキーパッチを書くことで解決

 

---

AIによる画像認識技術の進化 -25年の技術変遷を振り返る-

藤吉先生による画像認識の25年まとめ

ハンドクラフト特徴からCNN、ViT、VLMまでかなり広範にまとめられている

 

ハンドクラフト特徴

テンプレートマッチング

SIFT特徴量を使ったテンプレートマッチング

ローテクスチャでもいけるようになる

ハンドクラフト特徴

Joint Haar-likeとかJoint HOGとかは知らなかった

 

ミドル：ほどほどにローカル特徴を組み合わせて認識する

Joint Haar-likeとかJoint HOGとかは知らなかった

グローバル：ローカル特徴をがっと組み合わせて認識する

 

VLMについて

画像とテキストをペアで学習するもの（CLIP系）

なぜゼロショットのクラス分類ができるのかが視覚化されてて面白い

 

他にもLLaVA系やGemini系に言及あり

Gemini系のWaymoが開発したEMMAだと、大量のデータで事前学習したあとに自動運転データでFTすると良く、さらにChain-of-thought Promptingでプランニングを段階的にやると良いとのこと

Chain-of-thought Promptingの例

 

---

[blog]情報検索のための質問文作成モデル query-crafter-japanese を公開

情報検索におけるニューラルネットワークモデル学習に必要な「質問文と回答文のペア」を効率的に生成するためのquery-crafter-japaneseというオープンソースモデルが公開。

 

 

解決するもの

商用LLMでのデータ生成におけるライセンスやコストの課題

 

何をした

小型ながら高性能でApache 2.0ライセンスのquery-crafter-japaneseが開発できた。このモデルは、与えられたテキストからキーワード、質問文、タイトル、要約など7種類の質問カテゴリーを生成できる。大量のデータ処理において速度と費用面で大きな優位性を持つことが示されている。学習には制限のないDeepSeek-R1を用いて教師データを作成し、Qwen3でファインチューニングを行った結果、多くのケースでDeepSeek-R1を上回る性能を発揮。(ともあれ、DeepSeek-R1で生成したデータセットでDeekSeek-R1の評価をするのってありなんだっけ？

 

BAAI/bge-reranker-v2-m3で評価(CrossEncoder系のモデルhttps://secon.dev/entry/2024/04/02/080000-japanese-reranker-tech-report/

DeepSeek-R1 他よりスコアが低いからといって必ずしもDeepSeek-R1の質問文の質が悪いというわけではなく、リランカーでも判別が難しいような「正しく難しい質問文」を作成しているケースもあるとのこと

 

感想

LLMで自社サービス特化や独自ドメイン特化の検索データセットを作る場合は、商用LLMで金と時間をかけて頑張るという感じだった(俺もそういうトライはしたし、技術書典でもこのテーマで書いた)ので、このようにローカルLLMベースで学習して突破できるのは夢がある。

 

[論文] MMaDA: Multimodal Large Diffusion Language Models

• GitHub: ‣

• HuggingFace demo: ‣

• Diffusionによるマルチモーダル統一基盤モデル（テキスト、画像）。MLLM（Multimodal Large Language Model）or VLM（Vision Language Model）。
• しかし論文ではモデルアーキテクチャは論じてくれてない。GitHubを参照。

• 統一されたトークン：テキストデータと画像データを一貫した離散トークン化により、共通のモデルリング目的、prediction of discrete masked tokens。

• 統一された目的関数による事前学習、ポストトレーニング
• Mixed Long Chain-of-Thought FineTuning:
• UniGRPO

• Multimodal understanding、Text-to-image generation、Textual reasoning、Inpainting、Extrapolation

• Synergy across various tasks

 

 

 

Fast Inference from Transformers via Speculative Decoding

• https://arxiv.org/abs/2211.17192

• Yaniv Leviathan, Matan Kalman, Yossi Matias

AIによる3行まとめ

1. Speculative Decodingは、大規模なTransformerモデルの推論を高速化する手法で、複数トークンを並列に生成・検証することでシリアルな実行回数を削減します。

2. 軽量な近似モデルで候補トークンを生成し、高精度なモデルで検証・補正することで、出力を変えずに2〜3倍の速度向上を実現します。

3. モデルの再学習や構造変更が不要で、T5-XXLなどの既存モデルでもそのまま利用可能です。

1. Introduction

• 大規模自己回帰モデルは高性能である一方、デコーディングが逐次的なため推論が遅い

• 推論高速化のための様々な手法が開発されてきたが、多くはモデルアーキテクチャや学習手順の変更、モデルの再学習が必要であり、元のモデルと同一の出力を維持しない

• 本研究の動機は、推論ステップに「難しい」ものと「簡単な」ものがあるという点に加え、大規模モデルの推論ボトルネックがしばしば計算リソースではなく、メモリ帯域幅や通信にあるため、追加の計算リソースが利用可能であるという点

• 本研究では、モデルや学習手順を変更せず、出力分布を維持したまま投機的実行を利用して推論を高速化する手法を提案

2. Speculative Decoding

1. ターゲットモデル と近似モデル
• ターゲットモデル は、推論を高速化したい大規模で低速なモデル
• 近似モデル は、同じタスクに対してより効率的な(小さな)モデル

2. 投機的デコーディングのコアアイデア
• 効率的な近似モデル を使用して 個の候補トークンを自己回帰的に生成
• 次に、ターゲットモデル を使用して、生成された候補トークンを並列に評価し、受け入れ or 拒否
• 最初に拒否された推測を修正するため、または全ての推測が受け入れられた場合に新しいトークンを追加するために、調整された分布から追加のトークンをサンプリング

3. 投機的サンプリング (Speculative Sampling)
• ターゲットモデル の分布 から直接サンプリングする代わりに、まず近似モデル の分布 からトークン をサンプリング
• もし ならそのトークンを受け入れる
• もし なら確率 でそのサンプルを拒否
• 拒否された場合、調整された分布 から再度サンプリング
• この方法でサンプリングされたトークンは、ターゲットモデル から直接サンプリングされた場合と同一の分布に従うことが理論的に保証されている
• A.1. Correctness of Speculative Sampling 参照

4. アルゴリズムの実行ステップ

• 各行はアルゴリズムの1回のイテレーションを表す
• 緑色のトークンは、近似モデルが行った提案のうち、ターゲットモデルが受け入れたもの
• 赤色のトークンは拒否された提案であり、青色のトークンはそれらの修正
• 例えば、最初の行ではアルゴリズムの一回の実行で5つのトークンが生成

3. Analysis

Number of Generated Tokens

• 定義3.1 受理率
• prefix が与えられた場合の受理率 は Speculative Samplingにより を受理する確率

• は がどの程度 に近似しているかの自然な尺度

• もし、 が独立同分布であるという単純な過程を置き、 と表記するとアルゴリズム1回の実行で生成されるトークン数は成功確率 で上限 の幾何変数となる

Calculating

• 定義3.2 ダイバージェンス
• where
• が小さい → 分布が似ている

• 補題3.3
• 定義3.2より (証明略)

• 定理3.5
• Speculative Samplingの期待値より (証明略)

• 系3.6

Walltime Improvement

• 独立同分布の仮定のもとで、我々のアルゴリズムがターゲットモデル呼び出しを 倍に削減することを示した

• walltime解析にあたり十分な計算リソースがあり、ターゲットモデル の  個の並列評価を、ウォールタイムを増加させることなく並列実行できると仮定

• 定義3.7
• コスト係数 を 1回の実行時間と 1回の実行時間の比
• = の実行時間 / の実行時間
• はハードウェアやソフトウェアの実装に依存する
• 実験では は より数桁小さく は常に0.05未満

• 定理3.8
• walltimeの期待改善率は
• 生成されるトークン数の期待値より (証明略)

• 系3.9
• もし   なら、改善が得られる  が存在し、その改善係数は少なくとも   となる
• 証明 もし に対して改善が得られるならば の任意の に対しても改善が得られるため、 に対して定理3.8を評価することができる

Number of Arithmetic Operations (算術演算数)

• アルゴリズムは を 回 並列実行するため算術演算数は 倍になる

• アルゴリズムは1回の実行で最大 トークンを生成するため、推測を拒否する場合は計算が無駄になる

• 定義3.10
• を近似モデル のトークンあたりの算術演算数とターゲットモデル のトークンあたりの算術演算数との比率とする

• 定理3.11
• アルゴリズムの総演算数の期待される増加係数は
• 生成されるトークン数の期待値より (証明略)
• が低い場合、算術演算数の増加係数は大きくなる

• 算術演算数とは異なり、メモリアクセス数は減少する可能性がある
• ターゲットモデルの重みとKVキャッシュはアルゴリズムの実行ごとに1回読み込まれるため、それらを読み込むためのメモリアクセス数は、生成されるトークン数の期待値 の係数で減少する

Choosing

• と が与えられ、十分な計算リソースがあると仮定すると、最適な はwalltimeの期待改善率 を最大化

• Figure 3. は様々な の値に対する の関数としての最適な

• Table 1. と Figure 4. は と仮定した場合の、様々な と の値に対する推論速度と総算術演算数のトレードオフを示す
• 近似モデル の実行にかかるコストが、ターゲットモデル の実行にかかるコストと比較して無視できるほど小さいという理想的な状況

Approximation Models

• 投機的サンプリング、そしてそれに基づく投機的デコーディングは、近似モデル をどのように選択しても、ターゲットモデル と同一の出力分布を保証する

• 実験では主にターゲットモデル と同じアーキテクチャを用いたより小さなTransformerモデルが使われ、 を よりおよそ2桁小さく選択することが、推測の受理率 とコスト係数 のバランスをとるうえで最も良い結果を示した

• 近似モデルの別の種類として、コストが無視できるモデル (negligible-cost models) が挙げられる ()
• 例えば、T5-XXL 11B をターゲットモデル、bigramモデルを近似モデルとした英語からドイツ語への翻訳タスクでは、 となり、 の場合に1.25倍に推論速度が向上
• 他の単純なヒューリスティクスも、コストが無視できる近似モデルとして使用可能
• 例えば、要約やチャットのような、長いシーケンスが繰り返されやすいタスクでは、一致するprefixが見つかった場合に単にコンテキストからトークンをコピーする近似モデルが、高い α 値をもたらす可能性がある
• これらのパラメータを持たない近似モデルは、本番環境への展開がさらにシンプル

• 理論的な観点から興味深い例として、ランダムにトークンを選択する近似モデルもあり、これは全てのターゲットモデルに対して（非常に小さいながらも）何らかの改善を保証する

4. Experiments

4.1. Empirical Walltime Improvement（経験的ウォールタイム改善）

• 実験には、T5論文で使用されている2つのタスクを選択
1. WMT EnDeでファインチューニングされた英語からドイツ語への翻訳タスク
2. CCN/DMでファインチューニングされたテキスト要約タスク

• ターゲットモデル は両タスクともT5-XXL (11B) を使用

• 近似モデル はT5-large (800M), T5-base (250M), T5-small (77M)

• walltimeの改善率は、単一のTPU-v4上でバッチサイズ1で測定

• 評価は、argmaxサンプリング (温度設定temp=0) と標準サンプリング (温度設定temp=1) の両方

• Table 2. は実験結果

• テストされた近似モデルの中で、T5-small (77M) が最も高い速度向上を示した

• 予想通り近似モデルのサイズが大きくなるにつれて、 も増加する傾向が見られた

• 興味深い発見として、argmaxサンプリング (temp=0) の方が、 値およびwalltime改善率が共に高くなる傾向が見られた

• 具体的な速度向上率は、翻訳タスクで2.6倍 (temp=1) および3.4倍 (temp=0)、要約タスクでは2.3倍 (temp=1) および3.1倍 (temp=0)

4.2. Empirical α Values（経験的α値）

• 非条件的な言語生成タスク

• としてlm1bで学習されたGPT-likeモデル

• として6Mパラメータを持つTransformerデコーダーモデルと、単純なunigramおよびbigramモデル

• 対話タスク

• としてLaMDA 137B

• としてLaMDA (8B, 2B, 100M)

• 4.1参照

• Table 3. は測定された 値

• ターゲットモデルより数桁小さい近似モデルは、0.5から0.9の間の 値を生成する傾向

• すべてのモデルについて、 (argmax) の方が よりも 値が大きくなる

• unigramおよびbigram近似でも、無視できない 値が得られる
• 例えば、英語からドイツ語への翻訳タスクにおいて、ターゲットモデルがT5-XXL 11B、近似モデルがbigramモデルの場合、 値は0.2
• この場合のコスト係数 はほぼ0であるため、 で1.25倍の推論速度向上

6. Discussion

• 投機的実行全般、特に投機的デコーディングの限界
• レイテンシの改善が演算数の増加を代償とする並列性の増加によって達成される点にあり、追加の計算資源が利用できない構成では、この手法は役に立たない

• 追跡調査すべき方向性
• ビームサーチへの投機的デコーディングの適用
• カスタム近似モデルによるより大きな改善の可能性
• 近似モデル自体がさらに高速なモデルによって高速化される階層的なバージョンのアルゴリズム
• 推論全体を通して近似モデルと推測数 を固定するのではなく、それらを変動させることによる追加の改善
• 近似モデルによって生成される分布に対して異なる変換を適用
• テキストモダリティ以外のドメイン(画像など)でのテスト

• 確率的投機的実行および投機的サンプリングは、自己回帰モデルからの投機的デコーディングの範囲外でも役立つ可能性
• 例えば、互いに依存する遅い関数を並列に実行する場合など