BigQuery で Vertex AI の LLM を使用して SQL のみで RAG を構築する

概要

• BigQuery MLを駆使してBQだけでRAGの基盤作ったよという話

• とりあえずBigQueryで簡単な検索システムならできるようになった感じ。
• ONNXとかにすればリモートモデルでなくてもGCSのパス指定だけでEmbedding生成できたりするので、やろうと思えばなんでもできそう
• https://cloud.google.com/bigquery/docs/reference/standard-sql/bigqueryml-syntax-create-onnx

• LLMの推論速度だけ気になる。裏側ではどういう環境で推論しているんだろう。

• コサイン類似度もBQで計算できる (便利)