今週のTOPIC

[論文] BROS: A Pre-trained Language Model Focusing on Text and Layout for Better Key Information Extraction from Documents

• AAAI2022

• BERT Relying On Spatiality (BROS)

• OCRされた文字列からの情報抽出

• トークン間の位置関係を捉えるためのencoding手法、空間情報を取り入れた事前学習タスクの2種類を提案

• BROS encoding
• トークン間の相対的な位置関係による重み付け



• p_i, j: 2点間のx軸・y軸方向の差
• tl (top-left), tr (top-right), br (bottom-right), bl (bottom-left) について計算し重み付け和を取る
• トークン i → j に関する attention logit で、付与される



• 第1項は、通常のattentionと同じ（意味的類似性）
• 第2項で、Qに関するベクトルにトークン間の位置関係に関する情報を付与している（空間的関係性）

• 事前学習タスク
• 2つのタスクを解く



• ランダムに選ばれたトークンをマスキングして予測する
• （提案）ランダムに選ばれた領域に完全に含まれるトークンを全てマスキングして予測する

• 実験結果



• text + Layout を使った手法と比較して性能改善



• OCRで読み取られたトークン列をシャッフルしてどうなるかを比較（左が並び替え前・右が並び替え後）
• トークンの並び替えに対してもロバストな性能になっている

 

[論文] SelfDocSeg: A Self-Supervised vision-based Approach towards Document Segmentation(ICDAR2024)

概要

• Document Layout Analysis(DLA)のための、画像ベースの自己教示学習手法のSelfDocSegを提案

• ドキュメント画像から抽出したvisual featureだけを使って自己教示学習を行うフレームワークで、テキストやbboxなどのレイアウト情報は使用しない

• 疑似的にレイアウトのマスク画像生成し、それを疑似ラベルとして利用することでドキュメント内の項目の位置の特定と、その項目の意味的な特徴のための表現学習を行う

• 提案手法で事前学習済みの画像エンコーダを使って、DLAための物体検出モデルやインスタンスセグメンテーションモデルをファインチューニングすると性能が良くなる

• 事前学習にテキストやレイアウト情報を使うSOTAの自己教示学習手法であるLayoutLMv3、UDoc と同等の性能を達成

• アノテーション付きデータが少ない小規模データセットにおいて、DocSegTrなどのTransformerベースの手法よりも優れた性能

• 他の手法が使用する100万〜4200万のデータを事前学習に使ったりするが、提案手法は事前学習データを81000に制限しても他の手法に匹敵する性能

Introduction

Document Layout Analysisの歴史

• Document Layout Analysis(DLA)自体は、deep learningの隆盛前から長年研究対象になっているテーマであり、 古き良き画像処理から最新の学習ベースの手法までたくさんのアプローチがある

• ドキュメントから項目を抽出する用途においては、古典的な画像処理よりも学習ベースの方が近年明らかにいい性能を示しているので、学習ベースの物体検出やインスタンスセグメンテーションなどのDocument Object Detection(DOD)タスクとされることがほとんど

Document Layout Analysisの課題

• 新しいドキュメントが日々生まれるビジネスアプリケーションにおけるDODの課題
• 複雑で見たことのないレイアウトのドキュメント(直訳すると型破り文書)への対応
• アノテーションタスクの煩雑さが増大

• これらの課題に対して、自己教示学習がとても重要
• アノテーション付きデータの不足への対応
• 大量の未アノテーションデータを有効活用できる

• DODタスクに自己教示学習を適用する上での課題
• 自己教示学習でよく使われているcontrastive learningを直接適用できない
• 1つのドキュメントにクラスラベルが複数存在するので、クラスを使ったりしてドキュメント同士のpositive pairやnegative pairを作ることができない
• 項目がどこにあるか(object localization)まで学習できない
• テキストやbboxなどのレイアウト情報が必要
• 既存手法は画像、テキスト、レイアウトのペアを数百万、数千万使っているが、データを集めるのも学習回すのにもコストがかなりかかる

• ここまでの課題を解決するためにSelfDocSegを提案
• Bootstrap Your Own Latent(BYOL)をベースにした自己教示学習手法
• 古典的な画像処理を使って、ドキュメントからレイアウトの疑似的なマスク画像を疑似ラベルとして生成して利用
• 項目オブジェクトの特徴表現(representation)と項目がどこにあるか(localization)を同時に学習する手法

本論文の貢献

• 単純に性能が上がる

• アノテーションせずとも画像さえあれば、SelfDocSegを使ってDOD向けの事前学習ができる

• 事前学習のデータ数が少なくても性能がいいので、コストカットにもつながる

SelfDocSeg

• : RGB ドキュメント画像

• : 画像内の個の項目オブジェクトに関するアノテーション

• : 画像内の項目オブジェクト

• : 項目オブジェクトのピクセル座標セット

• : 項目オブジェクトのクラスラベル

• : RGB ドキュメント画像

• : から生成された粗いバイナリマスク
• は画像の物理的レイアウトを表現

• データセットで画像エンコーダを自己教示学習方式で事前学習
• : 画像エンコーダ
• : 画像エンコーダのパラメータ
• : 抽出されたfeatureマップ

• をバックボーンとして、データセット用いてオブジェクト検出モデル(例: Mask R-CNN, Yoloシリーズ)をファインチューニング

レイアウトの疑似ラベル生成

• 古典的な画像処理によって、ドキュメント画像からレイアウトの疑似的なバイナリのおおまかなマスク画像を生成する

• 手順
• RGB画像をグレースケール変換
• 閾値処理による二値化
• Erosion(侵食)
• 文字や線を太くして、一つの塊(オブジェクト)にする
• 白黒反転
• 白黒反転して、[0, 1]にnormalize
• オブジェクトが存在する部分が1(白)、それ以外が0(黒)

BYOLによる事前学習

• DeepMindから出てるBootstrap Your Own Latent(BYOL)という画像の自己教示学習手法

• BYOLはcontrastive learningを拡張した手法

• contrastive learningは、特徴空間で同じ画像(positive pair)間は距離を近くし、違う画像(negative pair)間は距離を遠くするという考え方の自己教示学習手法

• 1つの画像からaugumentationで2つのビューを生成し、同じ画像起因のビュー同士は特徴表現の距離が近くなるようにして、違う画像起因のビュー同士は遠くなるように学習する

• augmentationで物理的な見た目が変わっても意味的な特徴空間では近いところに埋め込みを作りたいイメージ

• ただcontrastive learningは、negative pairの作り方によっては学習が安定しないので、大きなバッチサイズや、memory bankを利用する必要があるので、positive pairだけで自己教示学習がしたい

• positive pairだけを使って、特徴空間で同じ画像間は距離を近くするようなタスクを学習すると、常に同じ出力にすればロス自体は下がるので、どの画像を入力しても同じ特徴表現になるというcollapseが起こってしまう、これを解決するためにBYOLを提案

• BYOLでは同じ画像起因の異なるビュー(positive pair)だけで学習するために、2つのネットワークを使う
• online network
• 真に学習したいモデル、SelfDocSegでいうと画像エンコーダ
• online networkとtarget networkにpositive pairを入力し、online networkはtarget networkの出力とのコサイン類似度が高くなるような出力をするように学習を進めていく
• target network
• online networkと全く同じ構造で、パラメータを持ち、更新方法が違う
• パラメータをランダムに初期化し、学習が進むに連れて指数移動平均で少しずつonline networkのパラメータにパラメータを近づける
• online networkとtarget networkのパラメータが近くなるまで十分に学習が進むと、collapseが起こることなく、ブートストラップ的に良い特徴抽出ができる画像エンコーダが得られているという仕組み

BYOLをベースにした項目オブジェクトの表現と位置の学習

• Online Branch: 真に学習したいネットワーク
• 画像エンコーダ : ResNet50
• プロジェクタ : 2層MLP (隠れ層4096次元, 出力256次元)
• プレディクタ : 2層MLP (隠れ層4096次元, 出力256次元)

• Momentum Branch: BYOLでいうtarget network
• 画像エンコーダ
• プロジェクタ

• , : 入力画像から生成されたの2つの異なるビュー

• , , , : 画像エンコーダ, によって、, から抽出された特徴マップ
• Online Branchの出力が、Momentum Branchの出力が

• マスクプーリング
• featureマップとからオブジェクトに関係する領域の特徴ベクトルだけ取得する処理

• , , : マスクプーリングの出力

• , , , : とを入力としたプロジェクタの出力

• , : を入力としたプレディクタの出力（Online Branchのみ）

• Online Branchでの処理
1. 画像からaugmentationで2つのビュー, を生成
• Gaussian blurring, color jittering, color dropping, solarization
• 後述のマスクプーリングという処理と相性が悪いので、クロッピングのような処理はしない
2. 画像エンコーダ でビュー, から、それぞれfeatureマップ, を抽出
3. マスクプーリングでfeautureマップからレイアウト特徴を取得
• レイアウトマスクから画像内のオブジェクトごとのマスクを作成
• featureマップとマスクを使って、オブジェクトの特徴を抽出:
• featureマップから、あるオブジェクトの部分だけ注目して、average poolingでというオブジェクト固有の特徴ベクトルにまとめる感じ
• 画像内の全てのオブジェクトの特徴ベクトルをスタックしてひとつのレイアウト特徴 として取得
• ここまでで、
4. プロジェクタ、プレディクタでを取得

• Momentum Branchでの処理
• 2つのビュー, を入力とし、Online Branchと同じ処理でを取得

• 損失関数
• 2つのブランチに異なるビューを入力したときに、Momentum Branchの出力をOnline Branchの出力が近づくように学習

• バイナリのセグメンテーションタスク
• 入力: featureマップ
• 出力: レイアウトマスク

• 損失関数
• focal lossを採用していて、重みづけαが0.25、フォーカシングγが2

• Online Branch
• 勾配学習

• Momentum Branch
• パラメータθの指数移動平均。τがモメンタム係数で、学習が進むに連れてパラメータξがθに近づく

• 事前学習済みをMask RCNNのバックボーンとして使用

• アノテーション付きデータセットで訓練

• Detectron2で学習

実験

• 事前学習
• DocLayNetの画像81000枚で学習
• A40(48GB)で800エポック

• ファインチューニング
• DocLayNet, PubLayNet, PRImA, Historic Japaneseそれぞれで学習
• A40(48GB)でバッチサイズ128で300000イテレーション

評価

• Document Object Detectionの性能で評価

• テキストやレイアウト情報を明示的に使っていないが、他の自己教示学習手法(LayoutLLMv3, UDoc)に匹敵する性能を示した

• 提案手法では81000の画像だけ使っており、他の手法（LayoutLMv3: 11M, UDoc: 1M, DiT: 42M）と比べて少ないデータ量でも性能がいい

• PRImAデータセットはアノテーション付きの学習データが350枚しかないが、小規模データセットではTransformerベースの手法(DocSegTr)を上回った

まとめ

• アノテーションせずとも画像さえあれば、Document Object Detection向けの事前学習ができる

• 事前学習のデータ数が少なくても性能がいいので、コストカットにもつながる

• 提案手法は画像だけでどこまでできるか検証しているが、提案手法をマルチモーダルな事前学習に組み込むことで更なる性能向上を期待