• original_textとrewritten textが与えられて、promptを当てるコンペ

• 正解のpromptと提出したpromptをsentence-t5-baseに入れて、Cosine Similarityを3乗したものの平均値が評価指標

• アプローチ
• LLM：LLMに直接聞いてpromptを教えてもらう
• mean prompt：全てのサンプルについて固定の文字列を予測するアプローチ

• 解法
• 上位はMistral 7Bを使っている + Magicを使っている場合が多い
• Magic： という文字列を入れるとt5-baseのコサイン類似度がめちゃくちゃ上がるらしい

• 工夫
• mean promptをビームサーチで探索
• mean promptだけでも金メダル取れたり
• LLMとmean promptのアンサンブル
• 単純にconcat
• その他にも色々な工夫がblogにはまとめられている

• magicを見つけられたのかを検証した実験をされていて、個人的に面白かった

• 参加者が公開したデータセットのrewrite_promptをt5-baseでembeddingにしてからその平均を計算して、一つの768次元の埋め込みを得る(mean embeddingとします)

• で得られる単語32100個について、mean embeddingとのSCSを計算する

• SCSで降順ソートすると、は約40位(上位0.13%)に入っている。これ以外の上位の単語を見ると、"essay", "summarize", "narrative"などいかにもrewrite_promptの文言に入りそうなものが並んでいるため、は非常に浮いている。

• AIがもたらす社会的リスクの低減を図りつつも、AIのイノベーション及び活用を促進していく目的で作成されたガイドライン

• これまで総務省や経済産業省の主導で作成されてきた3つのガイドラインを統合・見直しつつ、諸外国の動向や新技術の状況を考慮しつつ作成された。

• 総務省、経済産業省および教育・研究機関や民間企業等で構成されるマルチステークホルダーで議論、検討を重ねて作成されたガイドライン

• 「AI を活用する事業者（政府・自治体等の公的機関を含む）が安全安心な AI の活用のための望ましい行動につながる指針（Guiding Principles）を確認できるものとしている。」

• AI活用に関わる主体を3つに分けた上で、「ステークホルダーからの期待を鑑みつつどのような社会を目指すのか（「基本理念」 = why）」や「AI に関しどのような取組を行うべきか（指針 = what）」、留意点を解説している。
• AI開発者(AI Developer)：AIシステムを開発する事業者
• AI提供者(AI Provider)：AIシステムをアプリケーション、製品、既存のシステム、ビジネスプロセス等に組み込んだサービスとしてAI利用者、場合によっては業務外利用者に提供する事業者
• AI利用者(AI Business User)：事業活動において、AIシステムまたはAIサービスを利用する事業者

• ３つの基本理念

• 作業手順
• 図面中に矩形領域（バウンディングボックス）を作成する
• バウンディングボックスに対してテキストを入力するGoogle Cloud
• バウンディングボックスに対してラベル（テキストの種別となるカテゴリ値）を付与する

• 便利機能
• テキストの自動入力
• バウンディングボックスを作成したときにOCRモデルによってテキストを推論し、自動入力している
• バウンディングボックスの自動スナップ
• 手動で作成されたバウンディングボックスの中からテキスト自体のbboxを作成（紫部分）

概要

まとめ

• 合成データの生成は、特に機密性の高いデータの扱いにおいて重要な技術。
• 機密性データはデータ不足になりやすいし、外部と共同開発や発表ができない。
• プライバシーを保護しつつ、実データと性質の似た合成データで代替したい。

• 実験の結果、合成データが実データの有用な代替となり得ることが示されたが、モデルによってはプライバシー保護の強度やデータの再現性に差があることも明らかになった。

• 使用する合成データ生成モデルを選択する際には、その目的と要求されるプライバシー保護のレベルを慎重に考慮する必要がある。

合成データとは

• 実際のデータ (実データ) の統計的性質を反映しつつも、実データとは異なる、人工的に生成されたデータ。

• 機密性の高いデータを、セキュリティが比較的厳重でない環境や、外部と共有された環境で利用して機械学習モデルを開発する場合に、合成データの内容から実データの内容を推定できないようにすることで、実データのプライバシーを保護しつつ利用することができるデータ。

合成データの意義

• 実データの性質を反映した合成データを用いることで、他社やアカデミアとデータの共有や共同開発、研究発表が可能になる

• クラスのimbalanceが大きい場合、少ないクラスのサンプルを人工的に生成することで、モデルの性能が向上する可能性がある

• 実データに不公平性が存在したとしても，公平なデータを人工的に生成することでモデルの予測を公平にする
• 例えば、銀行のデータに対しては，過去の融資データから学習したモデルが人種や性別などに関するバイアスを元に融資の判断をしてしまうことを防ぐ

プライバシー保護

• 合成データを安全に使用するためには、生成過程で差分プライバシーやIdentifiability Scoreなどのプライバシー保護技術が用いられるる。

• もしデータが漏洩しても実データを特定できないように保護される

合成データの生成モデル

• 統計値をベースにした手法、Baysian Network,、VAE (Variational Autoencoder)、GAN (Generative Adversarial Network)、Normalizing Flow、Diffusion Modelをもとにした手法などがある

実験

• 実験目的は，銀行のデータに近いデータを用い，プライバシーを保護する生成モデルの中で最良の合成データを生成するモデルを明らかにすること

• 生成モデルとしてDP-GAN, PATE-GAN, ADS-GANを比較

• 合成データを評価する観点は、実データと似た性質を持っているか、実データのプライバシーが保護されているかという2点
• 実データで学習を行った場合と、合成データで学習を行った場合で、定期預金加入有無を予測するモデルの訓練とテストを行った際のROC AUCが近いかどうか
• プライバシーを保護できているかのIdentifiability Score

実験結果

• PATE-GANがプライバシーを保ちつつ、実データに近い性質を持つ合成データの生成に成功していた

• ChatGPT, Calude, Readableを使った論文の読み方紹介

• LLMに要約してもらえるのは便利。（5歳児は個人的にはあまりわかりやすくない気がする…）

• Readableお世話になっています

• データをさまざまなソースから取り込む ― イベントストリーム、DBテーブルのスナップショット、変更データストリーム、サービスエンドポイント、および、スローリーチェンジングディメンション、ファクトテーブル、またはディメンションテーブルとしてモデル化されたウェアハウステーブル

• オンラインとオフラインのコンテキストの両方で結果を生成 ― オンラインでは、機能提供のためのスケーラブルな低遅延エンドポイントとして、オフラインでは訓練データ生成のためのハイブテーブルとして。

• リアルタイムまたはバッチ精度 ― 結果を時間的またはスナップショット精度のいずれかに設定できます。時間的精度とは、オンラインコンテキストでリアルタイムに機能値を更新し、オフラインコンテキストで時点正確な機能を生成することを指します。スナップショット精度とは、特徴が毎日真夜中に一度更新されることを指します。

• 生データから訓練セットのバックフィル ― モデルを訓練するために機能ログが蓄積されるのを何ヶ月も待つ必要はありません。

• 強力なPython API ― データソースの種類、新鮮さ、およびコンテキストはAPIレベルの抽象化であり、group-by、join、selectなどの直感的なSQLプリミティブとともに、強力な機能強化を組み合わせて使用します。

• 自動化された機能モニタリング ― 訓練データの品質を理解し、訓練と提供の偏りを測定し、機能のドリフトを監視するためのモニタリングパイプラインを自動生成します。