Google is committed to advancing racial equity for Black communities. See how.
本頁面由 Cloud Translation API 翻譯而成。
Switch to English

將集合導出到BigQuery

火力基地
由Firebase製造

從指定的Cloud Firestore集合發送實時增量更新到BigQuery。

此擴展程序如何工作

使用此擴展程序可以將Cloud Firestore集合中的文檔導出到BigQuery。導出是實時的和增量的,因此BigQuery中的數據是Cloud Firestore中內容的鏡像。

該擴展程序創建和更新包含以下兩個BigQuery資源的數據集

  • 原始數據 ,用於存儲集合中文檔的完整更改歷史記錄。該表包含許多元數據字段,以便BigQuery可以顯示數據的當前狀態。元數據的主要字段是timestampdocument_name以及文檔更改的operation
  • 表示集合中數據當前狀態的視圖 。它還顯示每個文檔的最新operation日誌( CREATEUPDATEIMPORT )。

如果您創建,更新,刪除或導入指定集合中的文檔,則此擴展會將該更新發送到BigQuery。然後,您可以對該鏡像數據集運行查詢。

請注意,此擴展名僅偵聽集合中文檔的更改,而不偵聽任何子集合中的更改。但是,您可以安裝此擴展的其他實例,以專門偵聽數據庫中的子集合或其他集合。或者,如果您在給定集合中的文檔之間具有相同的子集合,則可以使用{wildcard}表示法來偵聽所有這些子集合(例如: chats/{chatid}/posts )。

附加設置

在安裝此擴展程序之前,您需要:

回填您的BigQuery數據集

此擴展名僅發送已更改文檔的內容-不會將現有文檔的完整數據集導出到BigQuery中。因此,要用集合中的所有文檔回填BigQuery數據集,可以運行此擴展提供的導入腳本

重要說明:安裝此擴展 ,請在整個集合上運行導入腳本,否則可能會丟失導入期間對數據庫的所有寫操作。

生成架構視圖

將數據放入BigQuery後,您可以運行schema-views腳本 (此擴展提供)以創建使查詢相關數據更加容易的視圖。您只需要提供一個描述您的數據結構的JSON模式文件,schema-views腳本將創建視圖。

開票

要安裝擴展,您的項目必須處於Blaze(即用即付)計劃中

  • 您需要為該擴展程序所需的Firebase資源支付少量費用(通常每月約0.01美元)(即使未使用)。
  • 此擴展程序使用其他Firebase和Google Cloud Platform服務,如果您超出了服務的免費套餐,則它們會收取相關費用:
  • BigQuery(此擴展名通過流插入寫入BigQuery)
  • Cloud Firestore
  • 雲函數(Node.js 10+運行時。 請參閱常見問題解答

如何安裝此擴展

使用Firebase控制台

要安裝和管理擴展,可以使用Firebase控制台。

使用控制台安裝

使用Firebase CLI

要安裝和管理擴展,您還可以使用Firebase CLI:

步驟1:運行以下npm命令以安裝CLI或更新到最新的CLI版本。

npm install -g firebase-tools
不起作用?查看Firebase CLI參考或更改您的npm權限

步驟2:通過運行以下命令安裝此擴展

firebase ext:install firestore-bigquery-export --project=projectId_or_alias
作者
執照
阿帕奇2.0
0.1.9