Google is committed to advancing racial equity for Black communities. See how.
Diese Seite wurde von der Cloud Translation API übersetzt.
Switch to English

Sammlungen nach BigQuery exportieren

Feuerbasis
Hergestellt von Firebase

Sendet inkrementelle Echtzeitaktualisierungen von einer bestimmten Cloud Firestore-Sammlung an BigQuery.

Wie diese Erweiterung funktioniert

Verwenden Sie diese Erweiterung, um die Dokumente in einer Cloud Firestore-Sammlung nach BigQuery zu exportieren. Der Export erfolgt in Echtzeit und inkrementell, sodass die Daten in BigQuery einen Spiegel Ihrer Inhalte im Cloud Firestore darstellen.

Die Erweiterung erstellt und aktualisiert ein Dataset mit den folgenden zwei BigQuery-Ressourcen:

  • Eine Tabelle mit Rohdaten, in der ein vollständiger Änderungsverlauf der Dokumente in Ihrer Sammlung gespeichert ist. Diese Tabelle enthält eine Reihe von Metadatenfeldern, damit BigQuery den aktuellen Status Ihrer Daten anzeigen kann. Die wichtigsten Metadatenfelder sind timestamp , document_name und die operation für die Dokumentänderung.
  • Eine Ansicht, die den aktuellen Status der Daten in Ihrer Sammlung darstellt. Außerdem wird für jedes Dokument ( CREATE , UPDATE oder IMPORT ) ein Protokoll der letzten operation IMPORT .

Wenn Sie ein Dokument in der angegebenen Sammlung erstellen, aktualisieren, löschen oder importieren, sendet diese Erweiterung dieses Update an BigQuery. Sie können dann Abfragen für dieses gespiegelte Dataset ausführen.

Beachten Sie, dass diese Erweiterung nur auf Dokumentänderungen in der Sammlung wartet , nicht jedoch auf Änderungen in einer Untersammlung . Sie können jedoch zusätzliche Instanzen dieser Erweiterung installieren, um eine Untersammlung oder andere Sammlungen in Ihrer Datenbank gezielt abzuhören. Wenn Sie dieselbe Untersammlung für Dokumente in einer bestimmten Sammlung haben, können Sie die {wildcard} -Notation verwenden, um alle diese chats/{chatid}/posts anzuhören (z. B. chats/{chatid}/posts ).

Zusätzliches Setup

Bevor Sie diese Erweiterung installieren, müssen Sie:

Füllen Sie Ihr BigQuery-Dataset nach

Diese Erweiterung sendet nur den Inhalt von Dokumenten, die geändert wurden. Sie exportiert nicht Ihren gesamten Datensatz vorhandener Dokumente in BigQuery. Also, um verfüllen Ihre BigQuery Datensatz mit allen Dokumenten in Ihrer Sammlung, können Sie das ausführen Importskript dieser Extension.

Wichtig: Führen Sie das Importskript nach der Installation dieser Erweiterung über die gesamte Sammlung aus , da sonst alle Schreibvorgänge in Ihre Datenbank während des Imports verloren gehen können.

Generieren Sie Schemaansichten

Nachdem sich Ihre Daten in BigQuery befinden, können Sie das Schemaansichts-Skript (bereitgestellt von dieser Erweiterung) ausführen, um Ansichten zu erstellen, die das Abfragen relevanter Daten erleichtern. Sie müssen nur eine JSON-Schemadatei bereitstellen, die Ihre Datenstruktur beschreibt, und das Schemaansichtskript erstellt die Ansichten.

Abrechnung

Um eine Erweiterung zu installieren, muss sich Ihr Projekt im Blaze-Plan (Pay as you go) befinden

  • Für die für diese Erweiterung erforderlichen Firebase-Ressourcen wird ein geringer Betrag (normalerweise ca. 0,01 USD / Monat) berechnet (auch wenn sie nicht verwendet wird).
  • Diese Erweiterung verwendet andere Firebase- und Google Cloud Platform-Dienste, für die Gebühren anfallen, wenn Sie die kostenlose Stufe des Dienstes überschreiten:
  • BigQuery (diese Erweiterung schreibt mit Streaming-Einfügungen in BigQuery)
  • Cloud Firestore
  • Cloud-Funktionen (Node.js 10+ Laufzeit. Siehe FAQs )

So installieren Sie diese Erweiterung

Verwenden der Firebase-Konsole

Zum Installieren und Verwalten von Erweiterungen können Sie die Firebase-Konsole verwenden.

Installation über die Konsole

Verwenden der Firebase-CLI

Zum Installieren und Verwalten von Erweiterungen können Sie auch die Firebase-CLI verwenden:

Schritt 1: Führen Sie den folgenden Befehl npm aus , um die CLI zu installieren oder auf die neueste CLI-Version zu aktualisieren.

npm install -g firebase-tools
Funktioniert nicht? Sehen Sie sich die Firebase CLI-Referenz an oder ändern Sie Ihre npm-Berechtigungen .

Schritt 2: Installieren Sie diese Erweiterung, indem Sie den folgenden Befehl ausführen

firebase ext:install firestore-bigquery-export --project=projectId_or_alias
Autor
Lizenz
Apache-2.0
Ausführung
0.1.9