Synth2: Boosting Visual-Language Models with Synthetic Captions and Image Embeddings
![](https://s3.ap-northeast-1.amazonaws.com/wraptas-prod/layerx/0b576a39-6d27-458d-ab22-56938e8f282c/4d8f499ee1f3613723046a5c567e4add.png)
概要
- 2024/03/12 by Google DeepMind
- Vision Language Model の学習に image + text のペアが必要
- 人手によるアノテーションデータセット作成はコストがかかる
- LLM + image generationで合成データセットを作成し、VLMを学習させるフレームワークを提案
手法
- VLM学習
- 入力: image, text
- 人手によるアノテーションデータ
- 合成データ
- 出力: next token prediction
- 人手によるアノテーションデータを使った学習
- imageを事前学習済みVQ-GANのencoder (tokenizer) で VQ tokenに変換
- VQ token(を整形したもの)と maskされたtextとを、LLMに入力
- LLM: cross-attention + self-attention
- cross-attentionのみ学習可能、self-attentionは固定
- cross-entropy
![](https://s3.ap-northeast-1.amazonaws.com/wraptas-prod/layerx/d5c427b6-1d24-4cee-a4ed-0f2324d8a720/fc5928d5aa8916fea889231649c4c0f3.jpg)
- 合成データセットを使った学習
- 既存のLLM (Gemini Pro) にpromptを与えて、入力となるtextを生成
- ImageNet21kからランダムに選んだクラスについて、30-40words程度で画像を説明しているような文章を作成させる
- 事前に学習させたtext2imageモデルを使って画像情報を生成する
- 人手によるアノテーションデータを使って事前学習
- textのencodingがVQ-GANのVQ tokenに近づくように学習させる
- これによってencoderの出力がそのままVQ tokenとなるので、encoder → decoder → image → VQ-GAN → VQ token のようにimageを経由させる必要がなくなる
- 画像情報 (VQ token) とmaskされたtextとを使って、アノテーションデータと同じくcross-entropyで学習
![](https://s3.ap-northeast-1.amazonaws.com/wraptas-prod/layerx/13f8f6e0-673c-48ab-bd0b-600eff180d69/450d3b90d53b61a347d608d6c71d7584.jpg)