Japanese Simple-SimCSE

概要

• Embeddingを取得できる日本語言語モデル
• 事前学習済み言語モデルに対して対照学習(Contrastive Learning)によるfine-tuningを施す手法
• その中でも代表的な手法がSimCSE (Simple Contrastive Sentence Embedding)です。
• 教師あり
• 教師なし
• LLMでRAGやりたいときとかにもよく使う
• 日本語には日本語モデルがよい

まとめ(コピペ)

• 日本語文埋め込みモデルのベースとしては以下を選んでおくと良さそうです。
• Base
• cl-tohoku/bert-base-japanese-v3
• studio-ousia/luke-japanese-base-lite
• Large
• nlp-waseda/roberta-large-japanese
• cl-tohoku/bert-large-japanese-v2
• studio-ousia/luke-japanese-large-lite

• 教師あり設定ではJSNLIを使うのが良さそうです。
• NU-MNLIを加えても性能が向上しなかった点は興味深く、以下の要因がありそうです。
1. 翻訳品質が悪い
2. 高品質な翻訳は必ずしもSTSの性能に寄与しない
3. ベンチマークデータセットの規模・多様性が不足している
4. 運が悪かった

• 教師なし設定ではWikipediaを適当に使っておくのが良さそうです。
• CC100の性能が悪かったので、綺麗さも大事そうです。
• データセットごとに大きな違いはなさそうなので、綺麗であればなんでも良いかもしれません。