今週のTOPIC

[blog] AutoMLOpsを使って機械学習CI/CDパイプラインを組んでみた

• automlopsというGoogleのOSSがあり、それを使って機械学習のCI/CDを組んでみたという話。

• 基本的にと を使ってpipelineを記述するKFPっぽい使い方

• 上記で定義したpipeineを実際にデプロイを行う。デプロイの種類としては以下
• ：各コンポーネントごとに設定や構成情報が記述された YAML ファイルや GCP の各サービスを展開するために必要な CLI コマンドが記述されたスクリプトを自動作成してくれる
• ：自動作成されたスクリプトをもとに、Artifact Registory の作成やサービスアカウントの設定等を実施。
• ：ビルドや docker image の push を行い、実際にパイプライン処理をデプロイするために使用。
• ：エンドポイントにデプロイされたモデルに対して、monitoring job を実行する際に使用。
• ：, ,  の3つの関数を一気に実行。
• ：インフラを削除するために使用。 を使ってる場合は使用できる。

• blogとしては基本的にtutorialに従ってやってみたという話。BQ → 決定木で他クラス分類 → 推論エンドポイントを立てるという流れ
• [shima] がpackages_to_installしか使えないっぽくて辛そう。コンテナ実行したい。
• [shima] 自動で結構な数のものがdeployされてしまうので、ちょっと怖みがある？サンプルコードだとシェルスクリプトでdeployしてるが、terraformも対応してるっぽいので、それだったら安心かも？

[library] Cleanlab

• データの品質を改善するためのライブラリ

• confident learningを用いて、データセット内の誤ったラベルを自動的に見つけて、修正することができる

• 対応しているタスク一覧
• 二値分類（バイナリ分類）
• 多クラス分類（複数のクラスへの分類）
• マルチラベル分類（例: 画像や文書のタグ付け）
• トークン分類（例: テキスト内のエンティティ認識）
• 回帰（データセットの数値カラムの予測）
• 画像セグメンテーション（ピクセルごとにアノテーションされた画像）
• 物体検出（バウンディングボックスでアノテーションされた画像）
• 複数のアノテーターによるデータラベル付きの分類
• 複数のアノテーターを使ったアクティブラーニング（モデルの性能を最も向上させるために、どのデータをラベル付けまたは再ラベル付けするかを提案）
• 異常検知（外れ値の検出: 分布外の異常なデータの特定）

• Cleanlab関連のブログ
• ‣
• ‣

[論文] Inversion-Free Image Editing with Natural Language

CVPR 2024に採択された論文

自然言語で指示を書くと、画像の編集をしているような画像を生成し直す技術。

Img2ImgやControlNetなどで、似たような画像を生成しなおす技術はあったが、この論文だと、入力の画像と、プロンプトのembeddingsの差分をベースに生成している。

‣

 

メインTOPIC: VerifiNER: Verification-augmented NER via Knowledge-grounded Reasoning with Large Language Models (ACL 2024)

概要

問題とする対象の特性分析

提案手法

For example, the type of “PEBP2” is “protein”, but a longer span, “PEBP2 site”, is classified as “DNA”; thus, we first identify spans and then proceed to determine types.

• step 1 (Figure 4 の a)
• 予測されたエンティティスパンに対し、αによる調整を行った候補セットを生成
• [xbeg−α : xend+α] (アルファはハイパーパラメータ)
• 各候補がKnowledge Baseに存在するかをチェックし、このチェック時点でKBに全く存在しない候補は削除

• step 2 (Figure 4 の b)
• step 1 で得られた候補たちについて、以下のようなプロンプトによりLLMを用いてラベル付けを行う
• このように行うのは下記の例から分かる通り、KBに記された情報が直接的にラベルに結びついているわけではないため

• step 3
• 複数の理由付けによる投票制を敷いたプロンプトにて最終的に適合するエンティティを特定する

Experiments

• データセット
• BC5CDR という、Chemical と Disease という問題領域で cell_line, cell_type, DNA, RNA and protein の5つのタイプによるアノテーションが行われたデータセット
• GENIAという、同様に5つのタイプによるアノテーションが行われたデータセット

• Knowledge Base
• UMLS (Unified Medical Language System)という200万以上の生物医学用語の定義、意味タイプ、語彙関係を含むデータベース

• 改善元のNERモデル
• ConNER
• BioBERT
• GPT-NER

• Baseline Methods
• Manual Mapping： 予測を検証するために外部の知識を利用する。KBで見つかった意味タイプを定義済みのラベルに手動でマッピングすることで、エンティティタイプを再割り当てする
• LLM-revision：LLMを使った単純な修正。モデルは入力コンテキストを再調査し、マークされた予測エンティティに基づいて修正コンテキストを生成する
• LLM-revision w/ CoT： LLM修正にゼロショットCoTを加える

RQ

• RQ1：VERIFINERは誤差を忠実に識別し修正できるか？
• 全てのNERモデルにおいて、VERIFINERは一貫して、両データセットの初期予測値に対して大幅な改善を達成した。これは我々のモデルに依存しない検証手法の有効性を示している。
• また、他の修正ベースラインを顕著なマージンで上回る。LLM-revisionとw/ CoTを我々のものと比較すると、LLMの内部知識のみに依存すると性能が低下し、エンティティ予測を忠実に検証するためには信頼できる外部知識源が必要であることがわかる。
• 検証には信頼できる知識を取り入れることが不可欠であるが、Manual Mappingの性能低下は、さらに、検索された知識とモデル予測とのギャップを埋める中間推論プロセスの必要性を浮き彫りにしている。
• 提案手法はエンティティの述語を正確に修正することを目的としているため、必然的にリコールが低下することが予想される。しかし、すべてのNERモデルにおいて、リコールを大きく低下させることなく、かなりの精度の向上を達成していることに我々は気づく。全てのデータセットとモデルにおいて、精度の平均向上は20.03%である一方、想起の低下はわずか1.09%である。

• RQ2：VERIFINERは様々なテスト分布で微調整されたモデルへの汎化性を誘導できるか？
• ファインチューニングするデータセットと評価するデータセットを違えて評価
• ソースデータセットとターゲットデータセットの間でエンティティの種類が異なることになるモデルは検証に相応しくないため N/A とした
• プロンプティングベースのLLM（GPT-NER）よりもはるかに優れた性能を発揮し、ターゲットデータセットで訓練したベースラインと同等の性能さえ達成した。このことは、VERIFINERが、訓練データセットにアクセスできない未知のデータセットにおいて、微調整されたNERモデルの性能を高めることができることを示唆している
• データシフトを想定したデータセット分割による学習と評価
• BioBERTとCONNERの両方において、我々のアプローチは、ターゲット分布で訓練された分布内集合と同等でさえある。特に、VerifiNERはGENIAのターゲットデータセットで訓練されたBioBERTをF1スコアで14.59%も上回っている。これは、VERIFINERが信頼できる外部の知識ソースに基づく予測を検証することで、ソース分布にオーバーフィットすることなく汎化する能力を強調している。

• RQ3：VERIFINERはドメイン固有NERにおける低リソースの課題を効果的に軽減できるか？
• 学習データの量を5%から100%まで段階的に変化させたときの性能変化



• BioBERTとCONNERの性能が、両データセットで検証されたすべての低リソースシナリオにおいて顕著に向上することを示している。