今週のTOPIC

[blog] KPIのモニタリング自動化と運用体制の整備

• ZOZOTOWNの推薦システムのKPIのモニタリングや運用体制をアップデートした話

• 課題1: KPIの異常検知の閾値が固定で、キャンペーンなどのトレンドを考慮できていなかった
• Prophetを利用することで、季節変動やイベントの影響を考慮した動的な閾値を設定

• 課題2: 実際に異常が発生した際のアラート対応フローが不明確で属人化していた
• アラート対応フローを整備し、対応の属人化を解消
• Vertex AI Pipelinesをスケジュール実行しKPIを集計。異常が発生していればSlackで通知しフローの通りに対応

• 課題3: メール配信数やクリック率などのKPIをSlackで定期配信していたが、最終的にはほとんど誰も目を通さなくなっていた
• 毎週1回20分のダッシュボードを見る会というミーティングの運用
1. ファシリテーターを中心にダッシュボードを見て、先週から ±N％ 以上の変化率か、グラフの形状が大きく変わったかを確認
2. 大きな変化がある場合、祝日、イベント、障害が発生していないか等原因を調査
3. 時間内に原因解明が出来なかった場合は、ファシリテーターが問題をチケット化し調査タスクをバックログへ積む
• 定期的なミーティングによって異常の取りこぼしが削減された

[blog] Introducing Contextual Retrieval

• Anthropicのブログポスト

• RAGの精度を上げるためにBM25の利用とcontextを含めたembeddingが有効だという内容

• BM25の利用ケース



• vector databaseと併用してTF-IDF indexを作成
• queryに対してvector databaseの検索と、BM25による検索を両方実行してTop-Kを抽出
• 重複排除してgenerative modelに入力する

• contextを含めたembedding





• chunkをそのままembeddingせず、一度LLMに投げてcontextを付与させる

• 精度（average % of failed retrievals @20）が改善

 

[論文] What is the Role of Small Models in the LLM Era: A Survey

LLMs と Small Models のコラボレーションと競合についてサーベイした論文

Small Models の定義としてはっきりしたものはないと前置きしつつも、ここではBERTからLLaMA-8BくらいまでをSMsとして扱っている様子。

 

コラボレーションについては下図のように分類を行っている。

SMsによるLLMsの強化:

• データキュレーション: SMを使ってLLMの学習データを選別・重み付け

• 弱から強への学習: SMを使って大きなモデルを監督・調整

• 効率的な推論: モデルのアンサンブルや投機的デコーディングによる推論の最適化

• LLMの評価: SMを使ってLLMの出力を評価

• ドメイン適応: 特定ドメイン向けにLLMを調整

• 検索拡張生成: 外部知識の取り込み

• プロンプトベースの推論: プロンプトの最適化

• 欠陥修正: LLMの弱点を補完

LLMsによるSMsの強化:

• 知識蒸留: LLMの知識をSMに転移

• データ合成: LLMを使って学習データを生成・拡張

 

また競合については以下のような考え方ができるとしている。

LLMとSMの競合:

• 計算資源制約下での環境

• タスク特化型の環境

• 解釈可能性が求められる環境

 

• LLMsによるSMsの強化についてはやや身近な話題なため、著者が感じた今後の方向性についてのコメントを紹介
• 知識蒸留

今後の方向性 (1) 現在の知識蒸留アプローチは主に、クローズドソースLLMによって生成されたラベルと説明を使用して、単純な教師あり微調整を通じて学習モデルを訓練することに重点を置いています。しかし、学習モデルの出力に対するフィードバックや特徴知識を含む、教師モデルから転移される知識の範囲を拡大することで、追加の利点を提供できる可能性があります。 (2) LLM知識蒸留の取り組みは、主にLLMからの様々なスキルの転移に焦点を当てており、有用性、誠実さ、無害性などの信頼性に対する注目は比較的限られています。

• 合成データ

今後の方向性 (1) 現在、クローズドソースのLLMはオープンソースの対応物よりも強力です。しかし、データ合成にクローズドソースモデルを使用すると、特に患者データを含む医療シナリオなどの機密性の高い文脈でプライバシーとセキュリティの懸念が生じる可能性があります。このプロセス中にデータのプライバシーをどのように保護するかを解決することは重要な懸念事項です。 (2) 大規模モデルを使用して訓練データを生成するのはコストがかかるため、高品質のデータを生産しながらも経費を削減する方法を探ることが不可欠です。例えば、最近の研究では、より小規模で性能の低いモデルが時として優れた訓練データポイントを生成できることが示唆されています。

 

メインTOPIC

Historical document image analysis using controlled data for pre-training (ICDAR2023)

概要

• ラベル付きデータの限られた歴史的な文書画像のレイアウト解析のための事前学習を考える

• 人工的に作成したデータの利用・自己教師あり学習使った事前学習タスクの2種類の戦略を提案

• 特に軽量なモデルにおいて、学習時間・性能面での改善が見られた

背景

• 文書画像のレイアウト解析、特に歴史的な文書の画像を扱う

• 文書画像のレイアウト解析でのラベリングタスク
• Region classification: 文章のブロック単位でのセグメンテーション
• Typographic labeling: 文字の体裁に関する分類（文字見出し、大文字・小文字・上下にはみ出た部分など）
• Text line detection and classification: 文章の行単位でのセグメンテーションとその分類

• 大量のアノテーションデータを用意するのは難しいため、大量のアノテーションデータに依存しない事前学習手法を提案する

• 論文では、text line detection and classificationに注目する

関連研究

• Noroozi & Favaro: Unsupervised learning of visual representations by solving jigsaw puzzles. (ECCV2016)
• 画像のパッチを並べ替える「ジグソーパズルタスク」を提案

• Gidaris et al: Unsupervised representation learning by predicting image rotations (arxiv2018)
• 画像を任意の角度で回転させ、その回転角度を予測するタスク

• Boillet et al.: Multiple document datasets pre-training improves text line detection with deep neural networks. (ICPR2021)
• 少ないデータでも有効に学習できるDoc-UFCNを提案。実験の比較手法として使われている。

• Vögtlin et al.: Generating synthetic handwritten historical documents with OCR constrained GANs. (ICDAR2021)
• GANを使って学習データを生成

提案手法

利用するネットワーク

• U-Net-S: オリジナルのU-Net。

• Adaptive-Unet: オリジナルからフィルタ数をやや抑えたもの。

• Doc-UFCN: text line detectionのために提案されたアーキテクチャ。U-shapeのFCN。

• U-Net-16: 軽量版のU-Net。各ブロックのフィルタ数を16に固定。（この論文オリジナル？）

データセット

• CB55: 14世紀のイタリアで書かれたダンテの『神曲』の写本。複雑なレイアウトと多様な手書きスクリプトが特徴。120ページ（うち40ページがラベル付き。10ページをtrain、10ページをvalidation、20ページをtestで利用） 、960x1344px。

• CSG18: 9〜12世紀に書かれた聖ガレンの写本で、礼拝に関するテキストや天文学の内容を含む。図や装飾も多く含まれ、解析が難しい文書。40ページのうち10ページをtrain、10ページをvalidation、20ページをtestで利用、960x1344px。

• 3ステップでデータ画像を作成（Otsu binarizationという手法）
1. blueチャネルに対して、1 x 45 px のフィルタでラインを水平方向ににじませる
2. blueチャネルに対して、25 x 25 px のフィルタでラインを水平・垂直方向ににじませる
3. 1つ目の結果をredチャネル、2つ目の結果をgreenチャネル、blueチャネルを0埋めした画像を作成

• 黄・緑・赤・黒の4ラベルを予測する問題として学習する

• VAEなどで生成せず、ある程度定まった方法で作成する（そのニュアンスを込めてsyntheticではなくartificialとしている）
• 特徴的なフォーマット（テキストブロックや文字見出しなど）を含める
• 文字は手書きやイタリックなどのフォントを使うものと、抽象的な幾何学形状でテキストラインを埋めて、”dummy text” を作成するものとがある
• マージンやカラムの幅などもランダムに変化させる

• 作成したデータは自動でラベルが付与され、学習に利用される

事前学習

• SetD: dummy textの人工データで構成

• SetF: Carolus, Papyrusフォントを使った人工データで構成

• SetM: dummy text, Carolus, Papyrusの混合

学習方法

• baseline: real dataで800epochs from scratch

• proposed: artificial data（120枚をtrain、60枚をvalidation）で事前学習を100epochs、fine-tuningを100epochs

• pretext task: pretext task用のデータ（CB55から60枚をtrain, 20枚をvalidation）で200epochs, fine-tuningを100epochs

実験結果

• CB55, CSG18の両方で、U-Net16でbaselineに対して人工データが精度改善。ネットワークによって傾向が異なるので、アーキテクチャの影響を受けやすいと考えられる。

• U-Net-16のHighlightカテゴリが大きく改善
• Highlightが含まれているデータが少なく、baselineでは1つも読めなかったらしい
• Highlightについては、他のモデルも改善傾向

• 精度の高さはU-Net-S with Morpho (pretext taskのデータ) が高く、U-Net16は改善幅が大きい

• パラメータが少なく実行時間の短いU-Net-16が、精度面でも良いパフォーマンスを発揮している点がgood

• U-Net-16がHighlightの行をうまく抽出できている

• 今回提案した事前学習の方法は、小さいネットワークと相性がよかった
• ここのより詳しい調査はfuture work

感想

• データの作り方で精度が大きく変わるのは他のタスク含めてよく挙げられる観点だが、文字っぽい記号を並べても今回のタスクでも有効に働くというのはあまり見たことがなく面白かった。

• 大量のデータでSoTAを目指す研究もよいが、こういった堅実な研究も大切。