• B-treeの入門ブログ

• ビジュアルライズが直感的理解に役立ちそうで良かった

• HALVA（Hallucination Attenuated Language and Vision Assistant）は、マルチモーダルな大規模言語モデル（MLLMs）におけるハルシネーションを軽減しながら、全体的な性能を維持するためのコントラストチューニング戦略

• Data augmented contrastive tuningは以下の2つのステップで構成されています。
1. generative data augmentation：視覚と言語の指示とそれに対応する正解ペアに対して、データ増強を行い、ハルシネーションぽい回答を生成する。正解から実在の物体や属性を選んで変更し、入力画像には存在しないハルシネーションの概念を導入する。
2. contrastive tuning：事実トークンとハルシネーショントークンのペア間でコントラスト損失を計算し、ハルシネーショントークンの生成確率を最小化、事実トークンの生成確率を最大化する。モデルの一般的な視覚と言語タスクでの性能が基盤モデルから逸脱しないように、KLダイバージェンス正則化を用いてモデルを訓練することで、モデルは基本性能を維持しつつ、ハルシネーションを抑えている。

• results
• 画像記述タスク
• CHAIRメトリクスを用いてハルシネーションをインスタンスレベルと文レベルの2つのレベルで測定。このタスクでは、HALVAは「画像を詳細に説明してください」と指示され、詳細な画像説明を生成する。



• 視覚的質問応答（VQA）タスク
• MMEベンチマークを使用してHALVAの性能を測定。特に、MMEの幻覚に関連するサブセット（MME-Hall）を利用し、MME-Hallは、存在、数、位置、および色の4つの物体に関連するサブタスクで構成される。





• 視覚的錯覚など、物体に限定されない他の形態の幻覚をテスト
• HallusionBenchベンチマークを使用して性能を評価。これは、視覚と言語が連携する際に生じる様々な幻覚をテストするためのベンチマーク。

• テキストのパターンマッチングの手法

• 既存の方法は、表面的な文字一致に基づいているので、表記揺れや同義語に対応できない

• ベクトル検索は意味的な比較ができるが、似たトピックの異なる文章まで荒く検出することがある

• SoftMatchでは単語のEmbeddingを用いて、柔らかく厳密な高速な文字列探索を実現している

• 1億語検索だと0.02秒らしい

Anaconda

• パッケージ管理、環境管理ができる

• 利便性の高さ（すぐに始められる、初心者に比較的やさしい）

• 再現性の高さ

注意

• Anacondaというエコシステムの中で動作するのが、Conda
• condaはパッケージマネージャー（オープンソース）
• conda-forgeはパッケージリポジトリで、これをcondaに登録してconda-forgeからパッケージを引っ張ってこれる
• これとは別に、Anacondaの保有するパッケージリポジトリもある (default)
• Anacondaはディストリビューション

料金プラン

何が変わった？

• 従業員数200人以上の組織は、利用にあたって有料ライセンスを購入する必要がある
ここでいう組織は、営利非営利・政府機関・組織を問わない

• 唯一、組織のなかでは教育機関のみが無料で利用できた
→ これが “カリキュラムベースのコースにおいて使用されること” に限定されるようになった、教育目的の利用でも注意する必要がある

2.1 Organizational Use.  Your registration, download, use, installation, access, or enjoyment of all Anaconda Offerings on behalf of an organization that has two hundred (200) or more employees or contractors (“Organizational Use”) requires a paid license of Anaconda Business or Anaconda Enterprise. For sake of clarity, use by government entities and nonprofit entities with over 200 employees or contractors is considered Organizational Use.  Purchasing Starter tier license(s) does not satisfy the Organizational Use paid license requirement set forth in this Section 2.1. Educational Entities will be exempt from the paid license requirement, provided that the use of the Anaconda Offering(s) is solely limited to being used for a curriculum-based course. Anaconda reserves the right to monitor the registration, download, use, installation, access, or enjoyment of the Anaconda Offerings to ensure it is part of a curriculum.  Utilizing Miniconda to pull package updates from the Anaconda Public Repository without a commercial license (if required by the conditions set forth in Section 2 of this Terms of Service) is considered a violation of the Terms of Service.

• Minicondaを利用する場合にも注意する必要アリ（ライセンスなしにAnacondaのリポジトリからパッケージ引っ張ってくると規約違反）

つまり？

• conda 自体はオープンソースなので引き続きタダ
• Anacondaリポジトリを利用するとライセンス違反

• 従業員数200人未満の組織は無料で使える

• 組織が教育機関の場合はカリキュラムベースのコースにおいて使用されるなら無料で使える

• それ以外の組織（教育機関含む）は、ライセンスを購入する必要がある

どうする？

• conda-forgeを使う

• condaにこだわらない

Ref

• https://www.datacamp.com/blog/navigating-anaconda-licensing

• https://legal.anaconda.com/policies/en?name=terms-of-service

• https://www.anaconda.com/pricing

背景

提案：ODAM

1. クラス分類確率、bboxの各座標の座標に対して、勾配を空間情報を保持したままの特徴量と掛け合わせることで特定物体に対する説明を生成
1. この時、勾配をそのまま掛け合わせるとノイズが大きくなるため、ガウシアンフィルタでノイズを抑制

2. 各物体に対する説明を改善する学習方法、ODAM-Trainを提案

定性的結果

所感

• 物体検出タスクの説明性手法はいくつかあるが、bboxの各座標の説明まで生成してくれるのは斬新で面白い

• ODAM-Trainで再学習しないと説明を生成できないのは実用上使いづらい

背景

提案

1. 統一された評価フレームワーク(データ準備、モデル、評価)と、汚染がされていないデータセットを一箇所に集めたLMMs-Eval
1. 10+モデル、50+ベンチマークを一箇所に集めて、評価も同一パイプラインで可能
2. （図は割愛）モデルの評価、ランキングづけも論文内で行なっている

2. ベンチマークのデータセット内でk-center問題に基づき、全体のパフォーマンスを予測可能にな代表的なサンプルの抽出を行うLMMs-Eval Lite、要は信頼性を保った縮小版ベンチマーク
1. 論文内で信頼性が評価されている
2. デカいモデルほど恩恵が大きい



3. フルセット評価時と高い相関

3. ベンチマークでのtrainingを許さない。最新のニュースやフォーラムから動的なベンチマークを作り、VLMを評価するLiveBench
1. 訓練データには含まれない最新のニュースやフォーラムの情報を使って評価データを作成。これにより、評価データがモデル訓練時に見られる可能性を低減し、ゼロ汚染を実現。
2. 従来の静的なベンチマークではなく、定期的に更新される動的データセットを使用して、モデルの一般化能力を評価。
3. アノテーションはGeminiでやっている（しゃーない）

所感

• やってること自体はデータセットかき集めてきました、ということだけだが研究者からしたらこれ以上ありがたいことはなくしっかり使われていた(すごい)

• 現状VLM系の論文はN個のベンチマークを取り出し、「ほら、全部で勝ってるでしょ」をしている印象（下図はQwen-VL）、de-factoを作るなり、全ベンチマークでの評価を楽にできるようにするなりここを全ての論文で統一してほしい、そういう意味で価値のある研究と感じた

• 汚染の観点がとても面白い。確かにあるVLMを皮切りに様々なVLMが「Flickr8kのvalとかもtrainingに使っていいでしょ！」みたいなことをすると評価そのものが不可能になる時代が来てしまう。そういう意味でズルができない動的ベンチマーク(LiveBench)はとてもいいアイデア

• プロンプトで書かれたオブジェクト以外を削除するモデル。

• MITライセンス

• Huggingface Spacesにツールとして使える形で公開されている。
• ‣
• レシート(成功)
• 扇風機(成功)
• イヤホン(失敗）
• ワイヤーとすると成功

• 開発元のfinegrainとは
• ‣
• AI画像フィルターの会社

Can I use Finegrain? If you are a site or app owner displaying images to your users, Finegrain will be a great fit!

Can I get a custom generative AI filter?

Of course, we're happy to craft custom filters for you. Just note it's a paying feature though. You can choose to either keep them private, or to publish them in our public filter store.

• サービスだけでなく開発した技術も売ってそう。

• そもそも開発のモチベーション
• 背景除去は便利だが、ユーザーごとに違ったオブジェクトを切り抜きたい。
• プロンプトとして、何だけを残すかを決められるように
• 新しいプロンプトベースのアプローチであるSAMやSAM2だと品質が足りない。
• SAMやSAM2だと、内部的には256x256の低画質でマスクを行なっている。

they are generating internally a 256x256 low resolution mask - with built-in upscaling mechanisms that create artefacts and struggle with complex masks (a la Eiffel Tower).

• どの部分のことかわからなかったのでわかる人は教えて欲しいです🙏
• Image encoderが256 channelsだから?

Following standard practices (e.g., [40]), we use an input resolution of 1024×1024 obtained by rescaling the image and padding the shorter side. The image embedding is therefore 64×64. To reduce the channel dimension, following [62], we use a 1×1 convolution to get to 256 channels, followed by a 3×3 convolution also with 256 channels.



From: Segment Anything

• 訓練
• 自分たちの2つのプロダクトからデータを集め学習
• Nfinite: 画像生成AIを利用した製品画像生成サービス
• 7769枚の画像
• インテリアなどの画像
• Finegrain: AI画像フィルター
• 1184枚の画像(hard negative mining)
• 一般的なオブジェクト

• 評価
• 自分たちでテストデータセットの作成
• ‣
• e-コマースでよく取引される製品