What is Multimodal Search: "LLMs with vision" change businesses

概要

• Mercariの580万点の商品画像からVertex AI Multimodal Embeddingsを使って検索インデックスを構築した例の紹介。
• サンプルコードも公開されている。
github.com
https://github.com/GoogleCloudPlatform/vertex-ai-samples/blob/main/notebooks/official/matching_engine/sdk_matching_engine_create_multimodal_embeddings.ipynb

• CoCaというVision and Language modelを使用している

• Nomic AIというのでEmbeddingの可視化デモを行っている
• https://atlas.nomic.ai/map/vertexAI-mercari

• GCPのマルチモーダル検索