Google は、黒人コミュニティのための人種的公平の促進に取り組んでいます。詳細をご覧ください。

Stream Collections to BigQuery

Firebase
Firebase で作成

指定した Cloud Firestore コレクションから BigQuery に、リアルタイムな増分更新を送信します。

この拡張機能の動作

この拡張機能を使用すると、Cloud Firestore コレクションのドキュメントを BigQuery にエクスポートできます。エクスポートはリアルタイムで段階的に行われるため、BigQuery のデータは Cloud Firestore のコンテンツのミラーになります。

この拡張機能では、次の 2 つの BigQuery リソースを含むデータセットが作成され更新されます。

  • コレクション内のドキュメントの完全な変更履歴を保存した生データのテーブル。このテーブルには、BigQuery がデータの現在の状態を表示できるようにするための、多数のメタデータ フィールドが含まれます。主要なメタデータ フィールドは、ドキュメントの変更に関する timestampdocument_nameoperation です。
  • コレクション内のデータの現在の状態を表すビュー。また、各ドキュメントの最新の operation のログ(CREATEUPDATEIMPORT)も表示されます。

指定したコレクション内のドキュメントを作成、更新、削除、またはインポートすると、この拡張機能によってその更新が BigQuery に送信されます。その後、このミラーリングされたデータセットでクエリを実行できます。

この拡張機能では、コレクション内のドキュメントの変更のみがリッスンされ、サブコレクション内の変更はリッスンされないことにご注意ください。ただしこの拡張機能の追加インスタンスをインストールすると、サブコレクションやデータベース内の他のコレクションを個別にリッスンすることが可能になります。また、特定のコレクション内の複数のドキュメントに同じサブコレクションがある場合は、{wildcard} 表記を使用してそれらのサブコレクションすべてをリッスンできます(例: chats/{chatid}/posts)。

追加の設定

インストール前に、次の作業を行ってください。

BigQuery データセットへのバックフィル

この拡張機能では、変更されたドキュメントのコンテンツのみが送信されます。既存のドキュメントのデータセット全体が BigQuery にエクスポートされるわけではありません。そのため、コレクション内のすべてのドキュメントを BigQuery データセットにバックフィルする場合は、この拡張機能で用意されているインポート スクリプトを実行します。

重要: この拡張機能をインストールした後に、インポート スクリプトをコレクション全体に対して実行してください。そうしないと、インポート時にデータベースに対して行われたすべての書き込みが失われる可能性があります。

スキーマビューの生成

データが BigQuery に入ったら(この拡張機能によって提供される)schema-views スクリプトを実行して、関連データのクエリを容易にするビューを作成します。必要なのはデータ構造を記述した JSON スキーマ ファイルだけです。schema-views スクリプトがビューを作成します。

料金

拡張機能をインストールするには、プロジェクトを Blaze(従量課金制)プランに含める必要があります。

  • この拡張機能に必要な Firebase リソースに対して小額(通常は約 $0.01/月)が請求されます(使用しなくても)。
  • この拡張機能は、次のような他の Firebase サービスや Google Cloud Platform サービスを使用します。このため、それらの無料枠を超えた場合には関連する料金が発生します。
  • BigQuery(この拡張機能は、ストリーミング挿入を使用して BigQuery に書き込みます)
  • Cloud Firestore
  • Cloud Functions(Node.js 10 を超えるランタイム。FAQ を参照

この拡張機能をインストールする方法

Firebase コンソールの使用

拡張機能のインストールと管理は、Firebase コンソールで行えます。

コンソールを使用してインストールする

Firebase CLI の使用

拡張機能のインストールと管理は、Firebase CLI でも行えます。

ステップ 1: 以下の npm コマンドを実行して、CLI をインストールするか、最新バージョンの CLI に更新します。

npm install -g firebase-tools
正常に機能しない場合は、Firebase CLI リファレンスを確認するか、npm のアクセス権を変更してください。

ステップ 2: 以下のコマンドを実行して、この拡張機能をインストールします。

firebase ext:install firebase/firestore-bigquery-export --project=projectId_or_alias
作成者
ライセンス
Apache-2.0
バージョン
0.1.20