Large Language Models for Generative Information Extraction: A Survey

概要

• DocumentからのInformation Extraction (IE)に対してLLMを用いた研究のサーベイ論文
• GitHubでAwesomeレポジトリを作っている
• https://github.com/quqxui/Awesome-LLM4IE-Papers

• 以下のように各研究を対象としている手法ごとにカテゴライズしている
• (2023だけでもめちゃくちゃ研究されている)

• NERの精度が、既存の教師あり学習されたRoBERTaなどに比べてどうなのかといった包括的な比較
• In-Context LearningやZero-shotの場合は、既存のモデルに大きく及ばず、Fune-tuningしたLLMでもそこまで精度は変わらないといった印象
• In-Context Learningはやり方によって性能差が大きい模様

• 最近は、Universal Information Extractionといった研究も行われており、異なるタスク間でも画一化されたプロンプトのFrameworkを使うといった考え方がある。自然言語を使うNL-LLMとコードを使うCode-LLMという二つの考え方が主流。
• 要するに、プロンプトの型を揃えましょうという考え方。Code-LLMはPythonのClassを用いてプロンプトを定義するといった手法で、考え方は面白い。

• また、教師データを使う場合にも、全ての学習データを使うのか、Few-shotなのかZero-shotなのかといった分類での研究傾向にも触れられている。
• TANL, UIE, cp-NERといった研究では、fine-tuningの方法を工夫することで、few-shotの設定で最先端の性能を達成。
• Few-shotの設定では、NL-LLMよりCode-LLM + In-Context Learningの方が性能がいいことが報告されている。
• Zero-shotの設定では、IEの設定を複数回のQAタスクに落とし込むことで性能を向上させたといった論文が紹介されている、

• その他にもIEモデルのData AugmentationにLLMを用いたらどうなるかといった研究も紹介されている。
• 単純にアノテーション時に能動学習するためのラベルとしてLLMを用いるといった研究から、構造化データをLLMに入力して自然なテキストを出力し、それを訓練データに用いるといった研究も紹介されている。