Google is committed to advancing racial equity for Black communities. See how.
Diese Seite wurde von der Cloud Translation API übersetzt.
Switch to English

Sammlungen nach BigQuery exportieren

Feuerbasis
Hergestellt von Firebase

Sendet inkrementelle Echtzeitaktualisierungen von einer bestimmten Cloud Firestore-Sammlung an BigQuery.

Wie diese Erweiterung funktioniert

Verwenden Sie diese Erweiterung, um die Dokumente in einer Cloud Firestore-Sammlung nach BigQuery zu exportieren. Der Export erfolgt in Echtzeit und inkrementell, sodass die Daten in BigQuery einen Spiegel Ihrer Inhalte im Cloud Firestore darstellen.

Die Erweiterung erstellt und aktualisiert ein Dataset mit den folgenden zwei BigQuery-Ressourcen:

  • Eine Tabelle mit Rohdaten, in der ein vollständiger Änderungsverlauf der Dokumente in Ihrer Sammlung gespeichert ist. Diese Tabelle enthält eine Reihe von Metadatenfeldern, damit BigQuery den aktuellen Status Ihrer Daten anzeigen kann. Die wichtigsten Metadatenfelder sind timestamp , document_name und die operation für die Dokumentänderung.
  • Eine Ansicht, die den aktuellen Status der Daten in Ihrer Sammlung darstellt. Außerdem wird für jedes Dokument ( CREATE , UPDATE oder IMPORT ) ein Protokoll der letzten operation IMPORT .

Wenn Sie ein Dokument in der angegebenen Sammlung erstellen, aktualisieren, löschen oder importieren, sendet diese Erweiterung dieses Update an BigQuery. Sie können dann Abfragen für dieses gespiegelte Dataset ausführen.

Beachten Sie, dass diese Erweiterung nur auf Dokumentänderungen in der Sammlung wartet , nicht jedoch auf Änderungen in einer Untersammlung . Sie können jedoch zusätzliche Instanzen dieser Erweiterung installieren, um eine Untersammlung oder andere Sammlungen in Ihrer Datenbank gezielt abzuhören. Wenn Sie in allen Dokumenten einer bestimmten Sammlung dieselbe Untersammlung haben, können Sie die {wildcard} -Notation verwenden, um alle diese chats/{chatid}/posts anzuhören (z. B. chats/{chatid}/posts ).

Zusätzliches Setup

Bevor Sie diese Erweiterung installieren, müssen Sie:

Füllen Sie Ihr BigQuery-Dataset nach

Diese Erweiterung sendet nur den Inhalt von Dokumenten, die geändert wurden. Sie exportiert nicht Ihren gesamten Datensatz vorhandener Dokumente in BigQuery. Also, um verfüllen Ihre BigQuery Datensatz mit allen Dokumenten in Ihrer Sammlung, können Sie das ausführen Importskript dieser Extension.

Wichtig: Führen Sie das Importskript nach der Installation dieser Erweiterung über die gesamte Sammlung aus , da sonst alle Schreibvorgänge in Ihre Datenbank während des Imports verloren gehen können.

Generieren Sie Schemaansichten

Nachdem sich Ihre Daten in BigQuery befinden, können Sie das Schemaansichts-Skript (bereitgestellt von dieser Erweiterung) ausführen, um Ansichten zu erstellen, die das Abfragen relevanter Daten erleichtern. Sie müssen nur eine JSON-Schemadatei bereitstellen, die Ihre Datenstruktur beschreibt, und das Schemaansichtskript erstellt die Ansichten.

Abrechnung

Diese Erweiterung verwendet andere Firebase- oder Google Cloud Platform-Dienste, für die möglicherweise Gebühren anfallen:

  • BigQuery (diese Erweiterung schreibt mit Streaming-Einfügungen in BigQuery)
  • Cloud Firestore
  • Cloud-Funktionen

Wenn Sie Firebase-Erweiterungen verwenden, werden Ihnen nur die zugrunde liegenden Ressourcen berechnet, die Sie verwenden. Ein kostenpflichtiger Abrechnungsplan ist nur erforderlich, wenn die Erweiterung einen Dienst verwendet, für den ein kostenpflichtiger Tarif erforderlich ist, z. B. das Aufrufen einer Google Cloud Platform-API oder ausgehende Netzwerkanforderungen an Dienste, die nicht von Google stammen. Alle Firebase-Dienste bieten eine kostenlose Nutzungsstufe. Erfahren Sie mehr über die Firebase-Abrechnung.

So installieren Sie diese Erweiterung

Verwenden der Firebase-Konsole

Zum Installieren und Verwalten von Erweiterungen können Sie die Firebase-Konsole verwenden.

Installation über die Konsole

Verwenden der Firebase-CLI

Zum Installieren und Verwalten von Erweiterungen können Sie auch die Firebase-CLI verwenden:

Schritt 1: Führen Sie den folgenden Befehl npm aus , um die CLI zu installieren oder auf die neueste CLI-Version zu aktualisieren.

npm install -g firebase-tools
Funktioniert nicht Sehen Sie sich die Firebase CLI-Referenz an oder ändern Sie Ihre npm-Berechtigungen .

Schritt 2: Installieren Sie diese Erweiterung, indem Sie den folgenden Befehl ausführen

firebase ext:install firestore-bigquery-export --project= projectId_or_alias 

Blaze-Plan erforderlich

Autor
Lizenz
Apache-2.0
Ausführung
0.1.7