• 気候関連財務情報開示タスクフォース (TCFD)という気候変動に関する11の推奨開 示項目を設定し、気候関連の推奨項目を開示しているかの規範となるものがある。
• これが本当に開示されているかは大量の資料を分析する必要があり、大きな負担。→ LLMで自動分類

• TCFD推奨開示項目の11項目が開示されているかの判断基準を決めるために27項目のTCFD推奨開示項目クライテリアを作成
• githubにて使用しているクライテリアだけ公開されてる：https://github.com/cierpa/tcfd_criteria

• 実験の流れ

• GPT-3.5とGPT-4の双方でクライテリアごとの分類精度を評価
具体的なクライテリアはTCFD推奨開示項目から以下のように作成



プロンプト例

• 更に、東京証券取引所の上場会社の有価証券報告書に含まれるサステナビリティ情報におけるTCFD推奨開示項目の充足状況も調査



• [shima]最終的に、クライテリアではなく最初のTCFD推奨開示項目が充足されているかは、一個でもクライテリアが書かれていたらOKとするんだろうか。

• いくつかの特徴的なLossについてお気持ちと実装を解説。

• Aleatoric Uncertainty Loss が面白かった。
• 内在的不確実性を学習することで、間違っても仕方がないサンプルをうまく扱う。
• 誤差が大きくとも、不確実性（分散）が大きいならばLossが小さくなる。
• 誤差が小さい（予測が正しい）際は、ロスを小さくするために不確実性が小さくなるように学習される。

• 論文など、PDF形式のファイルを読んで、書き物をするのを効率化してくれるサービス

• なんたってYcon採択スタートアップ

• できること
• 対話形式で論文の内容を質問できる
• ファイルと対話は1:1で対話の出力では参照されたページ番号を教えてくれる
• 同じ画面でメモを取れる
• メモはファイルに対してN:Nの関係になっていて、メモの特定の箇所はどのファイルを参照しているかなども表現できる
• メモとファイルを横断して検索
• 特定のメモに類似するメモのサジェスト

• こちらのイベントの資料

• 物体検出ベースやinstance segmentationのDocument Layout Analysisのための、自己教示学習手法

• 自己教示学習なので、ドキュメントの画像さえあればよく、アノテーションが不要

• 提案手法によって、1つのドキュメント画像から複数のオブジェクト表現を同時に学習し、データ効率の良い事前学習が可能となった

• 自己教示学習で事前学習済みのモデルを使って、4つのデータセットでファインチューニングし、その精度で評価

• 提案手法はドキュメント画像しか使っていないが、事前学習にテキストやレイアウト情報を使うLayoutLMv3、UDocなどと同等の性能

• 教師あり学習の手法とも遜色ない精度で、小規模データセットではDocSegTrなどのTransformerベース手法より優れた性能

• 事前学習データ数を8100に制限しても、他の手法が使用するデータ数の100万〜4200万に匹敵する性能

• Information Retrievalに関する指標のまとめ・解説記事 by pinecone

• 紹介されている指標はメジャーなもので、具体的な図・サンプル実装とともに、ProsとCons含めてわかりやすく解説されている

1. 比較ができる
• 優れた指標は、時間軸、ユーザーグループ、競合他社などと比較が可能です。これにより、自分がどの方向に進んでいるかを理解できます。例えば、コンバージョン率は単なる数値ではなく、過去のデータと比較して意味が出てきます。

2. わかりやすい
• 指標が覚えにくかったり、議論が困難だったりすると、数値の変化を文化に取り入れるのが難しくなります。シンプルで直感的な指標が好まれます。

3. 比率や割合である
• 比率や割合は行動しやすく、比較もしやすいです。例えば、売上や利益だけでなく、それを元にしたROI（投資利益率）やコンバージョン率などの比率が重要です。比率は状況を直感的に理解しやすく、対策を立てやすくします。

4. 行動を変える
• 優れた指標は行動を変えます。指標の変化に基づいて、従来とは異なる行動を取ることができることが最も重要です。

5. 対になったメトリクス
• 多くの指標は「対」になって登場し、バランスを保つために両方を見る必要があります。例えば、コンバージョン率と購入時間、バイラル係数とバイラルサイクルタイムなどです。

1. 定性的指標と定量的指標
• 定量的指標は数値や統計で「何が」「どれだけ」を明確にし、追跡や計測が容易で科学的です。一方、定性的指標はインタビューや議論などで「なぜ」に答え、感情や主観を含むため、定量化が難しいですが、ビジネスの課題や顧客のニーズを深く理解するのに重要です。最初に定性的データを収集し、潜在顧客のインサイトを得ることで、定量的データと組み合わせたより深い分析が可能になります。

2. 虚栄の指標と行動につながる指標
• 虚栄の指標は、自己満足のためのデータであり、行動を変えません。例として、合計登録数や合計アクティブユーザー数が挙げられます。これらは増加してもビジネスの本質的な改善にはつながりません。一方、本物の指標は、行動を変えるデータであり、ユーザーのエンゲージメントを示す「アクティブユーザー率」や「一定期間に獲得したユーザー数」などです。これらは製品やマーケティング手法の効果を評価し、改善を促進するために重要です。

3. 探索指標と報告指標
• 探索指標と報告指標は、用途と目的が異なります。報告指標は、既知の未知に対する指標であり、日常業務や既存のプロセスを把握するために使われます。例えば、売上やユーザー数など、具体的なデータを追跡します。一方、探索指標は未知の未知を発見するためのもので、新しい市場やユーザーセグメントを見つけるために役立ちます。スタートアップにおいては、拡大可能で反復可能なビジネスモデルを探求するために、探索指標が特に重要です。

4. 先行指標と遅行指標
• 先行指標と遅行指標は目的が異なります。先行指標は未来を予測し、将来の行動を導くために使います。例えば、営業ファンネルの見込み客の数から新規顧客の数を予測することができます。一方、遅行指標は過去の出来事を示し、問題が発生したことを確認するために使います。例えば、チャーンレート（顧客離脱率）は遅行指標です。スタートアップの初期段階では、遅行指標を使って現状の把握を行い、次第に先行指標を活用して未来を予測し、行動を最適化します。

5. 相関指標と因果指標
• 相関指標は、2つのデータが同時に変動することを示しますが、因果関係を意味しません。単なる相関関係に基づいた意思決定は誤りを招く可能性があります。例えば、アイスクリームの消費量と溺死の件数には相関関係がありますが、因果関係はありません。一方、因果指標は、一方の変数が他方の変数に影響を与えることを示します。因果関係を見つけることで、効果的な対策を講じることができます。正しい意思決定には、相関関係ではなく、因果関係の特定が重要です。

• スタートアップにおいてはムービングターゲット（移動目標、軌道修正を図りながら変化する目標）を追いかけることの大事さ

• 施策の評価を行う際にはセグメント・コホート・A/Bテスト・多変量解析を駆使すること

課題

1. 研究開発部と共同で開発を行っているが、検証用データが共有しやすく、かつ実行可能な状態になっていない

2. どの検証用データに対して、どのモデルを使用してどのような結果が出たか管理されていない

3. 検証する際の評価指標などが一元管理できていない。また、良しあしが曖昧なことが多いために手動での評価を行っている部分があるために自動で評価できない

• InputとExpected Outputをセットで定義して格納します。それぞれ構造化データとして登録できます。

• 作成したDatasets をLLMに通した結果をLangfuseに格納してみます。主にTrace - Span - Generationの概念があり、次のコードのような処理で作成が行えます。画面では、それぞれでかかった時間、コスト、アウトプットなどを確認できます。

• 最後に、Spanの評価と対応するDatasetとのひも付けです。どのデータセット、モデル、処理でどんな結果だったのかをひも付けて管理するために、それぞれのデータをつなげます。