LUKEのEntitySpanClassificationによる固有表現抽出

概要

• MNTSQさんのLUKEを使ったEntitySpanClassificationによる固有表現抽出についての記事
• LUKE: https://aclanthology.org/2020.emnlp-main.523/
• スライド

• NERの例のコードも公開：https://github.com/tealgreen0503/luke-named-entity-recognition/tree/main

• 普通の実装と違うのは、、などに加えてなどentityの特徴を加える必要があること
• にという値を入れる
• テキスト中のエンティティの始点位置・終点位置を示す二つの整数のタプルのリストを渡す
• コード中だとSudachiの単語の開始位置、終端位置をとして作成した上で、を超えないように単語同士を繋げて作成している
github.com
https://github.com/tealgreen0503/luke-named-entity-recognition/blob/c9410816a4f7ef472808dd1e3aa67b6eed31d262/src/data_preprocess.py#L110-L146

• その他推論時の注意点なども記載してくれている

• 使うとしたらstudio-ousia/luke-japanese-large？
• Waseda RoBERTa largeより精度が高い