BigQueryリリースまとめ

URL

https://cloud.google.com/bigquery/docs/release-notes

Created by

Tomoaki Kitaoka

発表時間

勉強会

2023-08-31 ML勉強会

勉強会日時

2023/08/31

概要

2023年8月にリリースされたBigQueryの新機能には、Bigtableへの直接エクスポート、Data clean room、Duet AI in BigQuery、BigQuery Studio、BigQuery DataFrames、そしてGenerative AI系の機能が含まれています。これらの機能は、レコメンデーション基盤の構築や、プライバシー保護、AIによるSQLの補完、Pythonライクな開発、Pandas互換のDataFrame APIの提供、自然言語生成タスクの実行など、多岐にわたる用途に利用できます。

August 30, 2023

BigQueryのEXPORTステートメントでBigtableへの直接エクスポートがプレビューに

• BQMLなどでクラスタリングして作成したレコメンデーション結果などをBigtableにリバースETLして、レコメンデーション基盤としてサービングまでができ、Bigtableへロードするバッチは不要になる。

August 29, 2023

BigQueryのData clean roomがプレビューに

• Data clean roomは複数の関係者において、基礎となるデータを移動したり公開したりすることなく、データ資産を共有、結合、分析できるセキュアな環境を提供する。

• N件以上ヒットした集計のみをかえすクエリなどが用意されているらしくて割と色んな観点でプライバシー保護ができそう。

• Use data clean rooms

• Aggregation threshold for queries and views

• Aggregation threshold clause

BigQuery上で生成AIがSQLの記述、補完、クエリの説明までしてくれるDuet AI in BigQueryがプレビューに

• copilot的なやつ

• スキーマなどのメタデータを適切に設計命名することが重要になりそう

• demo動画

BigQuery Studioがプレビューに

• demo

BigQuery DataFramesがプレビューに

• bigframes.pandas implements a DataFrame API (with partial Pandas compatibility) on top of BigQuery.

• bigframes.ml implements a Python API for BigQuery ML (with partial scikit-learn compatibility).

•  BigQuery DataFrames quickstart.

BigQuery MLのGenerative AI系の機能がGAに

• Vertex AIラージ言語モデル(LLM) text-bisonに基づくリモートモデルの作成。
• https://cloud.google.com/vertex-ai/docs/generative-ai/learn/models#foundation_models

• ML.GENERATE_TEXT関数とLLMベースのリモートモデルを使用して、BigQueryのテーブルに格納されたテキストに対して生成的な自然言語タスクを実行する。
• https://cloud.google.com/bigquery/docs/reference/standard-sql/bigqueryml-syntax-generate-text