Reading Order Matters: Information Extraction from Visually-rich Documents by Token Path Prediction
概要
- EMNLP 2023採択のLong Paper
- Token Path Predictionという手法で読み取り順序の精度を向上させることで、OCRされたレシートなどVisually-rich documentsの固有表現抽出の精度向上を図る
課題
- 固有表現認識（NER）は通常トークンのBIOエンティティタグの予測を連続的に行うタスクとして処理される
- これらのシーケンスラベリングベースのメソッドは入力値は連続かつ前から後ろへ順に並んでいる単語のシーケンスであることを仮定している
- ただし、レシートや契約書といった実際の世界のスキャンされたVisually-rich documents (VrDs)では、OCRシステムによってテキストは認識・配置され、通常は上から下へおよび左から右への順序で読み取られる
- 以下のようなファイルだと、読み取り順序が保証されず、シーケンスラベリングがうまくいかないケースがある
- 230,000の後ろにTOTALが来るなど
Token Path Prediction (TPP) for VrD-NER
- トークン入力をトークンの完全な有向グラフとし、各エンティティをトークンパス（グラフ内の有向エッジのグループ）としてモデル化する
- 各エンティティタイプに対してグリッドラベルを採用し、トークンパスを2つのトークンがリンクされているかどうかのn * nバイナリ値として表現する（ここで、nはテキストトークンの数）
