Brex’s AI-Powered Engine for Identifying Customer Insights
概要
- Brexは、アンケート調査、製品へのフィードバック、サポートチャット、顧客インタビューなど、毎月10,000件以上のデータを処理している。社内ハッカソンで作成されたAIエンジンは、顧客のフィードバックを収集し、トピックを抽出し、洞察を要約し、製品チームにルーティングすることができる。このツールは、プロダクトチームとエンジニアリングチームがフィードバックを把握し、共通のテーマや傾向を明らかにすることで、顧客のエクスペリエンスを改善するための最も重要な手段を特定し、優先順位をつけることができる。Brexの成熟したデータ基盤やフレームワークのおかげで、迅速に開発することができた。今後の展望として、トピックの要約を自動化し、より高度なレポーティングを可能にすることが挙げられる。
- 背景
- Brexは、アンケート調査、製品へのフィードバック、サポートチャット、顧客インタビューやセールスコールの記録など、毎月10,000件以上のqualitativeなデータを処理している。グローバルな顧客取引にも利用されるため、サポートもいろんな言語からの問い合わせがあり処理が大変。
- 社内ハッカソンで以下のようなシステムを作った
- 多くの異なるチャネルから顧客のフィードバックを集約し、AIを使用してトピックを抽出し、データポイントを実用的な洞察に要約し、それらの洞察を適切な製品チームにルーティングする
- それ以来、このツールは組織のあらゆるレベルで使用され、顧客インサイトを発見し、製品ロードマップにリアルタイムで情報を提供している
- この社内ツールはわずか4日間で初期プロトタイプをリリース
- このプロトタイプは以下で構成されている
- 生のフィードバックの傾向を簡単にセグメント化してレビューするためのデータ可視化ツール
- 主要セグメントに共通するテーマに基づいてAIが生成した要約されたインサイトのセット
- 自然言語を使用して製品に質問することを可能にする会話型インターフェイス（例えば、「Brex Travelの主要なフィードバックドライバーは何ですか？）
- これらの機能を組み合わせることで、プロダクトチームとエンジニアリングチームは、それぞれの領域に関連するフィードバックを常に把握できるようになり、また時間の経過とともに共通のテーマや傾向を明らかにすることで、会社のリーダーシップは、顧客のエクスペリエンスを改善するための最も重要な手段を簡単に特定し、優先順位をつけることができます。
- たとえば、このツールを使用すると、特定の製品分野に対する機能要望を簡単に調査したり、役割や顧客セグメントによってユーザーの感情がどのように異なるかを理解したり、Critical User Journeysの1つに関連するバグを特定したりすることができます。
- 成熟したデータ基盤やフレームワークのおかげで迅速に開発することができた
- Salesforceや様々なサポートベンダーなどの外部ツールからのデータは、当社のデータウェアハウスであるSnowflakeですぐに利用可能であったため、データの ”plumbing（配管）” に悩まされることなく、ソース間でフィードバックを統一するビジネスロジックに集中することが容易であった。
- 社内のAIエンジニアリング・タスクフォースは、LLMを扱うスピードアップを支援するため、詳細なプロンプト・エンジニアリング・ガイドを用意していた。これは、LLMの主要な長所と限界をすでに理解しており、デモの範囲に現実的な境界線を引くことができたため、重宝した。
- 外部のAIプロバイダーとの協業には、プライバシーやセキュリティに関する多くの懸念が付きまとうが、Brexはそれを極めて深刻に受け止めている。ハッカソンに先立ち、AIの許容される使用方法を定義する明確なガイダンスを提供た。また、私たちは恵まれた社内のLLMプロキシを基に構築することができたので、私たちのチームはベンダーを評価したり、コンプライアンスやセキュリティ、プライバシーについて心配しすぎたりする必要がなくなりました。
- 要約はLLMが本当に輝くユースケース
- 例えば、アラビア語やヘブライ語で提出されたフィードバックが、特別な指示なしに自動的に英語に翻訳可能である。また、顧客のサポート体験と製品自体の体験を区別するなど、ニュアンスを分類するためにプロンプトを改良しました。また、サポートの会話がたまたま複数のトピックに触れた場合、AIは積極的に複数のカテゴリー・ラベルを適用することも可能でした。
- 今後の展望
- LLM出力の評価を反復可能にすることで、プロンプトを自信を持って反復できるようにする。これには、人間によってキュレートされたground truthのデータセットを確立することも必要。
- 時間の経過に伴うトピックの要約を自動化し、より高度なレポーティングを可能にする。
- 定量的なSLOおよびクリティカルユーザージャーニーのダッシュボードを、主要な定性的データポイントで強化する。
- 終わりに
- 顧客向けのAIアプリケーションは注目を集めているが、社内でAIを活用してプロセスやツールを改善することには大きな可能性がある。
- 社内のAIアプリケーションのROIは、反復サイクルが速く、利害関係者が本質的に一致しているため、より予測しやすい。顧客調査に必要な手作業の大半を自動化することで、チームは優れた製品体験の出荷に集中することができる。