MDETR - Modulated Detection for End-to-End Multi-Modal Understanding

概要

• DETRの拡張版 MDETR (Modulated DETR)

• テキストと画像をセットで入力し、groundingが可能
• GLIPはMDETRを参考にしている

• 基本的にはDETRと同じ
• DETR: 入力データ（画像）から、Transformerを使って物体検出
• MDETR: 入力データ（画像+テキスト）から、Transformerを使ってGrounding（テキストに対応する物体の検出）

• 入力データの扱い



• 画像: CNNで特徴マップに変換 → Linearで分割して横に並べ、positional encodingを付与
• テキスト: RoBERTaでエンコード
• 画像とテキストをconcatして1つの入力列とする

• 物体検出
• DETRと同様にN個のObejct Queryを個々の物体のboxに変換する

• boxとテキストの対応関係
• boxと正解の物体との対応はマッチング問題で見つける
• Contrastive alignment



• InfoNCE
• O: 物体、T: テキスト
• 物体ごとに各テキストとの関係性を見るloss + テキストごとに書く物体との関係性を見るloss
• Soft token prediction



• トークンの最大数を256に固定
• boxごとにテキスト中の範囲を当てるように損失を計算する
• 正解の範囲が1, それ以外が0
• 直接トークンを当てると、多対多の関係性を掴みづらい