BigQueryリリースまとめ
August 30, 2023
BigQueryのEXPORTステートメントでBigtableへの直接エクスポートがプレビューに
- BQMLなどでクラスタリングして作成したレコメンデーション結果などをBigtableにリバースETLして、レコメンデーション基盤としてサービングまでができ、Bigtableへロードするバッチは不要になる。
August 29, 2023
BigQueryのData clean roomがプレビューに
- Data clean roomは複数の関係者において、基礎となるデータを移動したり公開したりすることなく、データ資産を共有、結合、分析できるセキュアな環境を提供する。
- N件以上ヒットした集計のみをかえすクエリなどが用意されているらしくて割と色んな観点でプライバシー保護ができそう。
BigQuery上で生成AIがSQLの記述、補完、クエリの説明までしてくれるDuet AI in BigQueryがプレビューに
- copilot的なやつ
- スキーマなどのメタデータを適切に設計命名することが重要になりそう
- demo動画
BigQuery Studioがプレビューに
BigQueryのコンソール上でColab EnterpriseのPython notebooが利用でき、ワンクリックでpythonライクな開発が可能に
- demo
BigQuery DataFramesがプレビューに
- implements a DataFrame API (with partial Pandas compatibility) on top of BigQuery.
- implements a Python API for BigQuery ML (with partial scikit-learn compatibility).
BigQuery MLのGenerative AI系の機能がGAに
- Vertex AIラージ言語モデル(LLM) text-bisonに基づくリモートモデルの作成。
- ML.GENERATE_TEXT関数とLLMベースのリモートモデルを使用して、BigQueryのテーブルに格納されたテキストに対して生成的な自然言語タスクを実行する。
リモートモデルとML.GENERATE_TEXT関数を使ってテキストを生成するチュートリアル