• 多くの場合、実務ではオープンソースとベンチマークのデータセットでは不十分なことが多い。そのため、特定のタスクを開始するにはまずデータの作成が常に必要なStepになる。

• NLPデータセットにおけるビジネスの観点からデータアノテーションと評価に至るまでの全プロセスを「Data Management Operations and Recipes (DMOps)」として提案

• 全部で以下の12step

• 重要なところだけをPickすると
• 1. Establish the Project Goal
• NLPエンジニアとビジネスオペレーターとの協働が重要
• 既存のベンチマークデータセットを強化する学問とは異なり、ビジネスではユーザと顧客のニーズから開始する
• このGapは理解しなければいけない
• 4. Design a Data Schema
• 学術界では事前に決まってることが多いが、ビジネスでは顧客のニーズに応じて再設計が必要
• 「情報抽出(IE)で抽出する意味のある情報はどのようなものか？」
• 「NERにおいて、どのような実体をタグ付けするか？」
• 8. Data Annotaion
• 質問ログをちゃんと残せる環境
• NLPのアノテーションでは、アノテーションツールの開発が最も重要
• スケーラビリティを考慮しなければいけない
• 人間のアノテータを支援できるもの
• 9. Data Internal Factor Verification
• よく発生するヒューマンエラーを特定して、議論を通じてエッジケースを整理
• まず10個のデータに対してラフアノテーションを行い、コンセンサスが取れてるかを確認 → 全てのデータにアノテーション
• アノテーション → データ検査できる効果的な仕組みが重要
11. Data Evaluation via Model Verification
• 実際のモデリングによるデータ品質調査
• データ量を増やす実験を行い、データ効率を調査する。
• エラーを見ることで5のアノテーションガイドを作るところに戻ることもある
 

• LLMで生成したテキストを自動評価、特にLLMを利用して自動評価している論文をLLMを使って分析した話

• 日本語タスクにおいて自動評価が人間による手動評価とどれほど相関するのか、という点が興味

• NLP2024の全論文を対象に、GPTを利用して二段階の解析をかけ、結果を分析

• GPTを用いて自動評価したものは人手評価と相関があるものが高そう
• ROUGEやBERT_Scoreなど、従来の指標は人手評価と相関しないケースが目立った。

• この結果も面白かったのですが、LLMを使って大量の情報から欲しい情報を得るという作業を効率化している点が面白かったです。

• コンピュータビジョン系のタスクに特化したMLOpsプラットフォーム

• 解いてるイシュー

• 機能例
• Data Quality Analysis
• Multiclass Confusion Matrix
• 推論結果を以下に分類
• True Positive
• correct model prediction. A prediction is matched with an annotation of the same class (this definition is the same as always).
• Undetected
• missing model prediction. An annotation is not matched to any prediction (this definition is the same as the False Negative definition from before).
• Mispredicted
• incorrectly-predicted class. A prediction is matched with an annotation of a different class (this would have been graded as a False Positive).
• Ghost Prediction
• incorrect prediction. A prediction is not matched with any annotation (this would have also been graded as a False Positive).
• →エラーの分布やエラーごとの特徴を分析
Multiclass Confusion Matrix for Object Detection
The Multiclass Confusion Matrix for Object Detection enables ML Engineers to identify edge cases, imbalance issues and other failures in your dataset.
https://www.tenyks.ai/blog/multiclass-confusion-matrix-for-object-detection

ひとことまとめ

継続事前学習とは

• 継続事前学習とは、大規模言語モデル(LLM)が新しいデータセットで順次学習を行う際に、以前のデータセットで学習した知識を保持しつつ、新しいデータセットに適応するための学習方法
• LLMを最初から学習するのではなく、事前学習モデルを追加データで継続事前学習することで、計算コストを大幅に削減できる。

継続事前学習tips

1. learning rateのwarm upとdecay
• データセットが切り替わり、新しいデータセットで追加で継続事前学習する際は、またwarm upとdecayをする

2. データリプレイ
• 新しいデータセットで学習する際に、以前のデータセットからサンプルしたデータを一定割合混ぜて学習することで、以前のデータセットで学習した過去の知識の忘却を防ぐ

3. データリプレイするサンプルの割合調整
• data replayをどのくらいの割合でするか
• 基本5%
• 弱い分布シフト(英語データセットから英語データセット)は1%
• 強い分布シフト(英語データセットから日本語データセット)は25%

4. infinite learning rate schedule
• warm upはした方がいいが、最適化が難しく前のデータセットの知識を忘却してしまいがち
• そのためのlearning rateスケジューリング
1. Linear warm-up phase（線形ウォームアップフェーズ）
2. Cooldown phase（クールダウンフェーズ）
3. Constant phase（一定フェーズ）
4. Annealing phase（アニーリングフェーズ）
• 一定の学習率で学習し、最後にlearning rateを指数関数的に減少させて小さい値することで、モデルを最適に収束させることができる
• 強い分布シフトの場合、infinite learning rateはきかない
• 弱い分布シフト → infinite learning rate schedule
• 強い分布シフト → 普通にwarm up？

5. モデルスケール
• モデルパラメータ数が多いほど、継続事前学習がより効果的になる傾向がある
• ただ、計算コストとのトレードオフ次第

6. 事前学習データの混合
• 継続事前学習を行う際は、ドメインごとにデータを順番に学習するよりも、異なるドメインのデータを混合して学習すると効果的

7. tokenizerの適応
• 継続事前学習では、モデルは複数のデータセットを順番に学習し、これらのデータセットは、異なるドメインやジャンルから収集されることが多く、データの分布が大きく異なる可能性高い
• トークナイザーもデータの分布に合わせて適応させる必要がある

• AAAI2024に採択された論文（日本人著者）

• Wikipediaの文章品質推定のデータセットを作成した
• https://github.com/ken-ando/WikiSQE
• 既存の取り組み（Wikipedia’s Botや既存研究）では、単純な間違い検知に限定されていたり、何か特定の観点に特化したラベリングが主流だった
• 様々な観点のラベルを付与し、LLMの学習データにも使える高品質なデータセットにした。
• ラベルの例
• According to Japanese records, the term kendo is coined in Japan on August 1, 1919.[citation needed]
• However, many analysts[who?] are finding that as Google grows, the company is becoming more ”corporate”.
• データ作成方法
• 過去の編集者が付与したInline cleanup templates（文章に付けるコメントのテンプレ）を利用
• https://en.wikipedia.org/wiki/Category:Inline_cleanup_templates
• 文章の品質に関するテンプレートを選びつつ153個のラベルを用意
• テンプレ自体も変化していくので、過去の履歴もチェックし過去と今のテンプレの対応関係も整理
• 作成されたラベル例

• 作成したデータセットを使い、機械学習による自動化とクラウドソーシングによるアノテーションとの精度を比較した
• 登場頻度の多い20ラベルに絞って、そのラベルが付与されているかどうかの二値分類として学習・推論
• 機械学習モデルの予測結果



• Information additionのようなラベルを付与する表現が似通っているものは精度が高い
• When? は時間に関する表現に付与される
• 文脈や意味を捉える項目は比較的精度が低くなる
• non-expertによるアノテーション（クラウドソーシングのAPPENを利用。）と比較
• アノテーションは2つ文章（片方が正解）を提示して、あるラベルをどちらに付与すべきかを質問するpairwise形式
• 精度結果



• 人間の精度よりも機械学習モデルの方が高精度。Citationは人間の方が高い
• GPT-4もある程度高い。特にバイアスに関する項目が高い（GPT-4の公平性を重視した訓練が影響している？）
• expert（wikipedia編集者）のデータからクラウドソーシングするよりも高精度に予測できるモデルが学習できている

• Appleが、スマートフォンのアプリUIを理解するために設計したマルチモーダル大規模言語モデル(MLLM)の「Ferret-UI」を開発したという論文

• 以下のようにモバイルUIにおけるウィジェットの分類やアイコンの認識、OCRを実行することができる

• 特徴としては、UIタスクに特化したトレーニングデータセットを用いたことと、any resolution と呼んでいる元の画像をサブイメージに分割してImage Encoderに入力することでモデルは画面全体のコンテキストを把握すると同時に、サブイメージを通じて得られる拡大された詳細に基づいた理解が可能になるとのこと