今週のTOPIC

AI Analysts forcorporate finance teams

• 財務分析を自動化してくたり、アドホックな質問に回答してくれるるSaaS

• Concourseはタスクのスピードや効率を向上させるツールではなく、個別のタスクを完全に自律的に遂行できる

• Concourseが他と異なる点は、「複雑な多段階のオペレーション」を伴う財務ワークフローを実行できること
• 例えば、NetSuiteのダッシュボードからデータを取得してCSVファイルをダウンロードし、そのデータをExcelスプレッドシートにコピーすることが可能

[slide] 自然言語処理を役立てるのはなぜ難しいのか - Speaker Deck

研究も追いつつプロダクトを作っていく我々にとって、大事な考えの言語化だったので紹介

まとめスライドは本当に端的な内容なので少し補足

• LLMが出てきた後は、（人間が扱う自然言語に対して流暢性の面で人間を越えることは原理的にできないので）精度以外の部分で勝負するのも大事

• メモリ帯域が重要になり3D積層メモリなどプロセッサに求められる要件が大きく異なりつつあるので強い基盤技術の活用も重要に

• インターフェースとしての自然言語処理であると考え、背後の問題を解くための道具と割り切って特定のドメインに飛び込んでの課題解決を行うことも大事に

メインTOPIC

Differential Transformer

• 2024年10月にarXivに投稿されたMicrosoft Researchによる論文

• これだけ擦り続けられているTransformerのアーキテクチャを大変シンプルなアイデア・実装で改善できたという論文。

サマリー

• 従来のTransformerには、無関係なコンテキストに対しても過剰に注意(attention)を持ってしまう傾向があるという課題があった。

• 提案手法である Differential Transformer(DIFF Transformer) は、そのような課題を解決するために従来の Transformer の Attention機構を改良したアーキテクチャである。

• 手法はシンプルであり、2つの独立したAttention Scoreを計算し、その差(Differential Attention)を従来のAttentionと置き換えるというだけのもの。これにより、関連するコンテキストへの注意が増幅され、無関係なコンテキストへの注意（ノイズ）が減衰する。

• 実験の結果、長文を扱う際の精度低下の低減や、情報抽出タスクの精度向上、QAや要約タスクにおけるハルシネーションの低減、モデルサイズの削減などの効果が確認された。

1. Introduction

• Transformerは言うまでもなく大変注目を浴びており、近年のLLMモデルではTransformerのデコーダーのみを利用したアーキテクチャがデファクトスタンダートとなっている。そして、TransformerのキモはAttention機構である。

• 一方で、（長い）コンテキストから欲しい情報を抽出するというタスクにおいてAttention機構の課題への言及が増えている。

• 以下図1はAttentionがコンテキストのどの部分に集まっているのかを示したものであるが、従来のTransoformerでは一番左の図に現れているように、正解に対してのAttentionが最も大きいもののその割合は小さく、割合としては無関係な部分に当てられるAttentionのほうが圧倒的であることが分かる（AnswerへのAttentionが0.03と最も大きいが、Answerの前の無関係のコンテキストへのAttentionの和が0.18、後ろが0.34もある）。

• このようにAttentionの大きな割合が余計な部分、attention noise に当てられてしまっていることは、モデルの性能に悪影響を持つ。

• このような attention noise を削減するためにDifferential Transformer(DIFF Transformer) を提案する。

• Diff Transformerでは、従来のTransformerのAttention機構において2つの独立したAttention Scoreを計算し、その差(Differential Attention)を従来のAttentionと置き換えるというだけのもの。これにより、関連するコンテキストへの注意が増幅され、無関係なコンテキストへの注意（ノイズ）が減衰する。

• このアイデアは電気工学におけるノイズキャンセリングヘッドフォンや差動増幅回路（差動アンプ）のアナロジーとして考えられる。
• ref: ‣
• Attentionにおける同相ノイズ（コモンモードノイズ）を減衰させるというイメージ

• 上述した図2の中央は提案手法におけるAttentionの分布であるが、正解に対してのAttentionがかなり際立っており、attention noise が非常に小さくなっていることが見て取れる。

• また、右側はコンテキストからの情報抽出タスクの評価結果であるが、提案手法が大きく性能を改善していることが見て取れる。

• 他にも、従来のTransofomerと同等の性能を発揮するために、モデルサイズあるいは学習データは65%のもので良いということや、様々な下流タスクにおいても高い性能を見せることが分かった。

• 以上から、Diff TransformerがLLMのための効果的で特徴的なアーキテクチャになるのではないか。

2. Differential Transformer

• Differential Transformer(DIFF Transformer)は基本的に従来のTransformerと同様のアーキテクチャである。

• 一番のポイントは、従来のAttentionをDifferential Attentionに置き換えたことである。

• 他の細かい点としては、LLaMAに倣って pre-RMSNorm やSwiGLUを改良点として採用している。
• pre-RMSNorm：従来のLayer Normalizationと違って、平均を使わずRMSのみで正則化する。計算コストが低く効率的。[論文]
• SwiGLU：GLUにおいてSwish(x * sigmoid(x)) を適用。計算コストは上がるがモデルの性能向上に寄与。[論文]

• Differential Attention では、入力()に対して重み()をかけた後、QとKを2分割する。

• 2分割してQとKでそれぞれ（従来の）Attention Scoreを計算した上でその差を取る。 は学習パラメタ

• 実際の は学習のため以下のように再パラメタ化されている。
• （シンプルなスカラーパラメタと比べて）学習の安定化
• 初期値を制御することで、層ごとに適切な差分効果を狙う

• 論文中では以下の初期値が推奨

• Multi-Headにするのは従来のTransformerと同様

• 従来のTransformerと勾配の傾向を合わせるために、正則化(GroupNorm)した後 をかけているのが実はポイント
• DiffAttnの勾配は従来のAttentionの 程度になる。
• GroupNormで正規化されるので、再度 をかけることで元のTransformerと同程度の勾配の大きさになる。

• この性質により、従来のTransformerのハイパラをそのまま利用しても学習が安定するとのこと。

• GroupNormというのは、シンプルにheadごとに独立してnormalizationしているだけ。

3. Experiments

• 以下のような観点でDifferential TransformerをLLMに適用して評価
1. 様々な下流タスクにおけるLLMとしての性能
2. モデルサイズと学習トークンサイズ
3. 大きなコンテキスト長(64k)における性能
4. コンテキストからの情報抽出タスク(Key Information Retrieval)、ハルシネーション、in-context learning
5. 活性値の異常値(Activation Outliers)の低減
6. Ablation Study

3.1. 様々な下流タスクにおけるLLMとしての性能

• モデルの基本設定
• モデルサイズ：3B（2.8B パラメータ）
• レイヤー数：28
• 隠れ層サイズ：3072
• FFNサイズ：8192
• 語彙サイズ：100,288

• アテンションヘッドの設定
• ヘッドの次元(d)：128
• Transformer：24ヘッド
• DIFF Transformer：12ヘッド
• 計算量を合わせるため半分のヘッド数にしている

• 学習設定
• トレーニングシーケンス長：4096
• バッチサイズ：4M
• トレーニングトークン数：1T
• トークナイザー：tiktoken-cl100k_base

• オプティマイザ設定
• オプティマイザ：AdamW
• β値：(0.9, 0.95)
• 最大学習率：3.2e-4
• 最小学習率：1.28e-5（線形減衰）
• ウォームアップステップ：1000
• 重み減衰：0.1
• ドロップアウト：0.0

• その他
• 学習データ：StableLM-3B-4E1Tと同じデータセット
• 評価方法：LM Eval Harness ベンチマークを使ってzero-shotの設定
• ベースライン：OpenLLaMA-v2-3B, StableLM-base-alpha-3B-v2, StableLM-3B-4E1T

• 結果は以下の表
• すべてのタスクで提案手法(DIFF-3B) が他のLLMを上回る。

3.2. モデルサイズと学習トークンサイズ

• DIFF Transformerと従来のTransformerのスケーリング性を比較

• (a) 様々なモデルサイズにおいてDiffは性能が高く、同じ性能を出すのに38%小さなモデルでもよい。

• (b) 様々な学習トークン数においてDiffは性能が高う、同じ性能を出すのに36%小さな学習データセットでもよい。

3.3. 大きなコンテキスト長(64k)における性能

• 64Kのコンテキスト長における性能評価を行う。

• 前述の3Bモデルを利用し、追加で1.5Bトークン分学習を進めて検証。

• 実験結果は以下の図であり、Diffが従来のTransformerをコンスタントに上回っている（NLLは小さいほうが良い）

3.4.(a)コンテキストからの情報抽出タスク(Key Information Retrieval)

• コンテキスト内の重要な情報を抽出する能力を評価する Needle-In-A-Haystackテスト（直訳：干し草の中の針探し）
• ”Tokyo has magic number 7425.” や “Paris has magic number 3891.”といったフレーズが埋め込まれた長文を受け取り、”What is the magic number for Paris?” と聞かれた際に “3891” と正しく回答することを期待されるタスク。
• N: 差し込まれている都市と数字の組み合わせの数（上の例だとN=2）
• R: 質問される都市の数(上の例だとR=1)

• 結果は以下の表の通り
• NやRが大きくなり問題が難しくなるほど性能が落ちるのは変わらないが、Diffは性能悪化の程度が小さいことが見て取れる。
• → 無関係なコンテキストがたくさんある中でも必要な情報にきちんと注意を払えている。

• N=8, R=1の設定でコンテキスト長と回答がコンテキストのうちどの深さにあるのか(0だと頭、100だと後ろ)の関係が性能に与える影響を表に示したのが以下
• Diffは異なるコンテキスト長に対して安定した成果を見せる。
• 正解が存在する位置にもある程度ロバストである。
• 特に、正解がコンテキストの前半におかれた際の従来のTransformerとの差が大きい。

• 以下は正解へのアテンションとattention noise（正解以外へのアテンションの和）を表にしたもの。
• 圧倒的にDiffが欲しい情報に注意を向けており、attention noise が小さい。

3.4.(b) In-context learning

• many-shot分類とロバスト性の観点でIn-context learningの性能を比較評価する。

• 以下はmany-shotの評価結果であり、一貫してDiffが高い性能を示す。
• 横軸は入力サンプル数であり、1shotから入力長が64Kになるまでshot数を増やしていっている。
• （無闇にサンプル数増やしても精度が頭打ちってのも見えていて良い。）
• 4種類のタスクで実験しており、それぞれ分類するクラス数が異なる。

• ロバスト性の評価に際して、同じサンプルが与えられた際に、順序のばらつきによる性能差を検証したのが下図
• サンプルの並び替えの方法によらず、Diffの性能のばらつきが小さいことが読み取れる。
• 逆に従来のTransformerは分散大きいな。

3.4.(c) ハルシネーション

• （コンテキスト）ハルシネーションの程度を、文書要約および質疑応答タスクで評価する。
• 入力に正しい情報が含まれる際に、正しい出力を生成できるのかという観点での評価
• 出力はGPT-4oで評価する。出力が正確でハルシネーションがないかどうかをboolで出力させる。
• （これだけだとハルシネーションというか、シンプルな文書要約やQAタスクの評価では？どのような間違い方をしているのかが気になった。）

• 以下は要約タスク(a) および質疑応答タスク(b)の例（精度は100サンプル平均）
• DIFFが概ね高い性能を発揮している。

3.5. 活性値の異常値(Activation Outliers)の低減

• LLMにおいて活性値異常値(Activation Outliers)、つまり極端に大きい活性値が発生することがよくある。

• Activation Outliers は学習と推論においてモデルの量子化を困難にさせてしまう。
• 小さいbit数で表現できなくなるということ。
• 以下の表は、Attention層と隠れ層における活性値の統計である。
• 中央値は大きくは変わらないが、DIFFは相対的にかなり小さな活性値を保つことができており、外れ値が少ないことが読み取れる。

• 以下はAttention層のパラメタを量子化した実験結果であるが、Diffは量子化を行なっても精度の劣化が小さいことが見て取れる。

3.6. Ablation Study

• GroupNormがDIFFに効果的であることが見て取れる（DIFFの1行目と2行目比較）。
• 一方で、従来のTransformerでは効果はほぼないように見える（Tの2行目と3行目）。
• また、従来のTransformerのhead数を16→8に変更しても性能の変化ほぼないように見える（Tの1行目と2行目）。
→ DIFFの性能が、head数を減らしたことやGNを追加したことによるものだけではないことが分かる。

• の初期値を変えても性能は大きく変わらず、ロバストである。（最後の2行）

4. 感想

• 長年、特に最近は改めてすごく注目を浴びていてめちゃくちゃ研究されてきたTransformer機構において、こんなシンプルなアイデアで大きな改善ができるというのがかっこいい。

• ノイキャンの技術の応用というのは納得感があった。気持ちとしてはアンサンブル的な話なのかな。他領域の技術のアナロジーで課題解決するってのかっこいいですね。

• SNS等ではあんまり目立ってなかった(?)が、量子化が効きやすくなるという点も素晴らしいですね。

• 従来のTransformerで利用していたハイパラをそのまま利用して、AttentionだけDifferential Attentionにアップデートするので問題ないということが実験的にも、理論的にも証明されていて素晴らしい。すぐに使える。