• コンペについて

あるpromptに対して、2つのllm(model_a, model_b)の回答のどちらかが優れているか、もしくは引き分け(tie)か予測する。正解は人間が評価したデータ。 評価はlogloss

• 特徴
• DeBERTaとかだとスコアが上がらない。
• Gemma2やLlama3などのLLMが有用だった。
• 考えられる要因
• 推論する対象もLLMが生成した文章である。Gemma2はLMSYSのデータをpretrainしている。
• データがNoisy
• データはLMSYS Chatbot Arenaでユーザーが回答したもので、同じ答えでもtieにならなかったり、promptはHey！だけのものがあったり

• ベースライン
• PEFTとは → 参考：huggingfaceのPEFTについて
• vLLMとは → 参考：vLLMの仕組みをざっくりと理解する

• 上位解法が色々とやっていてllmでfine tuningしたいときに役に立ちそう。

Chris(16th)のSolutionにLLMのハイパラチューニングの手順が書いてあり、参考になる。

• リソース
• Gemma 7(9)bのfull fine-tuningでA100 80GとかA100 40G x 2くらいのリソース
 

• ナレッジグラフをRAGに組み込んで従来のRAGの課題を解決するぞ！

• 従来のRAGの課題

「〇〇に関係しそうなものは主に何ですか？」（〇〇は知っている情報だが、何が関係しているかは不明） 「〇〇は△△によってどうなりましたか？」（〇〇と△△はゆるいつながり）

• ナレッジグラフは(主語、述語、目的語)のトリプレットをentityとedgeの関係としてグラフ構造で保持する。

• GraphRAGではentityやedge、および関係性の深いサブグラフをまとめた単位である「コミュニティ」ごとに要約を作成してインデクシングしておくことで、うまいことRetrievalする。

• 検索には２種類

• グローバルサーチ
• Q:"この時代の日本の統一過程において、武将たちはそれぞれどのような役割を果たしましたか？”
A

SUCCESS: Global Search Response: ### 日本の統一過程における主要な武将たちの役割

日本の戦国時代から江戸時代にかけての統一過程において、複数の武将たちが重要な役割を果たしました。以下に、主要な武将たちの役割とその影響をまとめます。

織田信長 織田信長は、戦国時代において天下統一を目指した大名であり、数々の戦闘や政治的戦略を通じて権力を拡大しました。彼は桶狭間の戦いで今川義元を撃破し、松永久秀の反乱を鎮圧するなどして勢力を強化しました [Data: Reports (233, 161, 260, +more)]。信長の政策や戦略は後の豊臣秀吉や徳川家康に大きな影響を与え、彼の死後もその影響力は続きました [Data: Reports (227, 267)]。

豊臣秀吉 豊臣秀吉は、信長の死後に権力を掌握し、豊臣政権を確立しました。彼の施策には、全国的な土地調査である太閤検地や、農民の収穫高に基づいて税を課す石高制の導入が含まれ、これらは日本の社会構造に大きな影響を与えました [Data: Reports (266, 125, 75, +more)]。また、秀吉は朝鮮出兵を行い、国際的な軍事行動を展開することで豊臣政権の維持と強化に努めました [Data: Reports (199, 126)]。

徳川家康 徳川家康は、関ヶ原の戦いで東軍を指揮し、勝利を収めることで江戸幕府を樹立する基盤を築きました [Data: Reports (247, 43, 102, +more)]。彼の戦略的な指導力は日本の統一に大きく寄与し、江戸幕府の設立へとつながり、約260年にわたる平和な江戸時代をもたらしました [Data: Reports (193, 103, 107)]。

明智光秀 明智光秀は織田信長の家臣として仕えましたが、1582年に本能寺の変で信長に対して反乱を起こしました。この事件は日本の歴史における重要な転換点となり、信長の死後の権力闘争に大きな影響を与えました [Data: Reports (132, 92, 121, +more)]。

武田信玄と上杉謙信 武田信玄は戦国時代の有力な大名であり、徳川家康との対立を通じて家康の軍事的な成長に影響を与えました [Data: Reports (217, 64)]。一方、上杉謙信は信玄と敵対する大名として知られ、特にその軍事力は非常に強力でした。彼の戦術は後の時代にも影響を与えました [Data: Reports (217, 262)]。

結論 これらの武将たちは、それぞれの戦略や政策を通じて日本の統一過程に大きな影響を与えました。織田信長の革新的な政策と軍事的成功、豊臣秀吉の全国的な施策と国際的な軍事行動、徳川家康の戦略的な指導力と江戸幕府の設立、明智光秀の反乱、そして武田信玄と上杉謙信の軍事的対立は、戦国時代から江戸時代にかけての日本の歴史を形作る重要な要素となりました。

• ローカルサーチ
• Q: “キンカン頭に討たれた殿の仇を討った人はその後色々禁止したようですが？”
A
SUCCESS: Local Search Response: # キンカン頭に討たれた殿の仇を討った人のその後
信長と光秀の関係
織田信長は、家臣である明智光秀を「キンカ頭」と呼び、満座の中で侮辱することがありました。このような非情な扱いが、光秀の反乱の一因とされています [Data: Relationships (562)]. 光秀は信長の命令で比叡山焼き討ちを実行し、その武功を上げましたが [Data: Relationships (173, 4)], 最終的には本能寺の変で信長に反旗を翻し、信長を討ちました [Data: 信長とその時代の重要な関係 (20)]。
豊臣秀吉の政策
信長の死後、豊臣秀吉が権力を掌握し、日本の統一を進めました。秀吉は信長の政策を引き継ぎつつも、自身の政権を強化するためにいくつかの重要な政策を実施しました。例えば、秀吉はバテレン追放令を発布し、キリスト教徒の追放を目指しました [Data: Relationships (1781, 2340, 2339, 2338)]. また、人身売買を禁止する命令を出しましたが、実際には追放令にその文が削除されていたこともあります [Data: Relationships (1782)]。
徳川家康の政策
秀吉の死後、徳川家康が権力を握り、江戸幕府を開きました。家康もまた、キリスト教の布教を禁止する禁教令を発布し、国内の安定を図りました [Data: Relationships (1417, 2250, 2251, 2252, 2253)]. 家康はまた、殉死を嫌い、これを禁じる政策を実施しました [Data: Relationships (1437)]。
まとめ
信長を討った光秀の後を継いだ秀吉と家康は、それぞれの時代において重要な政策を実施し、日本の歴史に大きな影響を与えました。特にキリスト教の布教禁止や人身売買の禁止などの政策は、彼らの政権の安定と権力強化を目的としたものでした。

• 抽象から具体を書くより、具体から抽象を書いた方がCopilotがうまく機能しやすいのは確かになるほど

• wantedlyさんのslide

• まとめ
• pandas、polars間の変換はとても簡単(.to_pandas, from_pandas)
• 処理速度の向上がメリット
• 型に対して厳密なので初めは躓きやすいのがデメリット
• 逆にデメリットはそれくらいしかない

• GCP上にABテストの割り当ての仕組みを作成

• ABテストのパラメータ（期間や割り当てられるモデルなど）はyaml管理

• テストグループごとのモデルの学習・予測はVertex AI Pipeline

• 割り当てを決める処理はCloud Runで実行

# コードの一部を抜粋・簡略化して記載しています

import hashlib

def _compute_allocation_bucket(company_id: int, key: str, bucket_size: int) -> int:
    """
    company_idとkeyに基づき、company_idに対してバケットを割り当てる。
    keyはexperiment_nameなどを想定。
    """
    hash_key = key + str(company_id)
    hash_str = hashlib.sha256(hash_key.encode("utf-8")).hexdigest()
    return int(hash_str, 16) % bucket_size + 1
Python

• シンプルに組まれていてよい

• Slack ワークスペースに蓄積された情報を知識として活用する

• メンション（またはDM）で話しかけると、必ず回答をする

• メンション（またはDM）でなくても、レスポンスを必要とするメッセージ（質問/相談/依頼）ならばお節介で応答を試みる
• 生成した応答によって質問/相談/依頼が解決する場合は応答する
• 質問/相談/依頼の内容について詳しい人が見つかった場合は応答して詳しい人へパスする
• 上記に当てはまらない場合はスルーする（なんら反応しない）

• おっさんずナビのメッセージにスレッドで返信した場合
• 質問/相談/依頼ならば前述の仕様通り応答を試みる
• 質問/相談/依頼以外ならば絵文字でリアクションする

• ほどほどのAPI利用料で回答を生成できる

1. プロンプトを英語で入力

2. GPT-3.5 と GPT-4o の両モデルを併用

3. 逆ベクトル検索（仮称）を採用

LLM を利用したチャットボットを設計・開発・運用したのは今回が初めてでしたが、試行錯誤のすえにたどり着いた結論は、応答の精度よりも 利用者が意識しなくても自然と使える 方がより重要ということでした。そして、その実現にもっとも効果的なのは人間っぽい挙動を追求です。

• モデルの生成するテキストは、長ければ長いほど精度が悪化するという傾向を、MAUVEと他の評価指標が捉えられるかを調査。

• タスク：web text, news, storeisの種類のテキストにおける、テキスト補完タスク. 先頭の単語列が与えられて、残りの単語列を予測。

• 結果：MAUVEが唯一全てのモデルサイズで精度悪化を捉えている。

• 文章生成におけるデコーディングアルゴリズムは
1. Nucleus sampling
2. Ancestral sampling
3. Greedy decoding
の順番に精度が良いが、正確に評価できている。

• モデルサイズの違いも正確に捉えている

Long Context

References

• 著者: Ryoma Sato

• 所属: National Institute of Informatics

• 論文タイトル: Training-free Graph Neural Networks and the Power of Labels as Features

• 発表誌: Transactions on Machine Learning Research (8/2024)

• リンク: OpenReview

背景

• Graph Neural Networks (GNNs) は、化学モデリング、質問応答、レコメンダシステムなど多くの分野で使用されており、特にトランスダクティブなノード分類において優れた性能を示している

• GNNsは大規模グラフでの計算コストが課題であり、これを解決するために多くの手法が提案されてきたが、いまだに計算資源が限られている環境で即座に使用するのは困難

既存のGNNsの問題点

• GNNsの計算コストが高いという課題がある。大規模グラフにおいては、全グラフをスキャンすることさえ困難

• 多くの手法が計算の効率化を目指して提案されているが、依然としてトレーニングに多くの時間を要する

提案手法: Training-free Graph Neural Networks (TFGNNs)

• Labels as Features (LaF) を提案。これは、トランスダクティブなノード分類において、ノードのラベルを特徴量として使用する技術であり、GNNsの表現力を強化することができる

• TFGNNs は、トレーニングなしで使用できるGNNsであり、必要に応じてトレーニングを行うことでさらに改善することも可能

• LaFは、ノードのラベル情報を特徴量として使用することで、従来の特徴量のみを使用するよりもはるかに情報量の多いノード埋め込みを生成できる

• LaFを使用したGNNsは、Label Propagation (LP) の表現を可能にし、従来のGNNsでは不可能だった高精度なノード分類を実現

結果

• TFGNNsは、従来のGNNsと比較して、トレーニングなしの設定においても優れた性能を発揮し、特に大規模グラフでの使用において、トレーニングを必要としないため、即座に利用可能である

• 深い層のTFGNNsは、トレーニングなしの設定でさらに優れた性能を発揮し、トレーニングを行った場合でも、従来のGNNsよりも高速に収束する

• TFGNNsは、特徴量にノイズが含まれている場合でも、従来のGNNsよりもロバストであることが実験で確認された

結論

• TFGNNs は、トランスダクティブなノード分類において強力な手法であり、特に計算資源が限られている環境での使用に適している

• 今後の研究としては、LaFの他のGNNsへの応用や、異種グラフへの適用可能性の検討が期待される