Check out what’s new from Firebase@ Google I/O 2021, and join our alpha program for early access to the new Remote Config personalization feature. Learn more

Exporter des collections vers BigQuery

Base de feu
Fabriqué par Firebase

Envoie des mises à jour incrémentielles en temps réel d'une collection Cloud Firestore spécifiée à BigQuery.

Comment fonctionne cette extension

Utilisez cette extension pour exporter les documents d'une collection Cloud Firestore vers BigQuery. Les exportations sont en temps réel et incrémentielles, de sorte que les données dans BigQuery sont un miroir de votre contenu dans Cloud Firestore.

L'extension crée et met à jour un ensemble de données contenant les deux ressources BigQuery suivantes :

  • Un tableau de données brutes qui stocke un historique complet des modifications des documents de votre collection. Cette table comprend un certain nombre de champs de métadonnées afin que BigQuery puisse afficher l'état actuel de vos données. Les principaux champs de métadonnées sont timestamp , document_name et l' operation de modification du document.
  • Une vue qui représente l'état actuel des données dans votre collection. Il affiche également un journal de la dernière operation pour chaque document ( CREATE , UPDATE ou IMPORT ).

Si vous créez, mettez à jour, supprimez ou importez un document dans la collection spécifiée, cette extension envoie cette mise à jour à BigQuery. Vous pouvez ensuite exécuter des requêtes sur cet ensemble de données en miroir.

Notez que cette extension n'écoute que les modifications de documents dans la collection, mais pas les modifications dans les sous-collections . Vous pouvez cependant installer des instances supplémentaires de cette extension pour écouter spécifiquement une sous-collection ou d'autres collections dans votre base de données. Ou si vous avez la même sous-collection parmi les documents d'une collection donnée, vous pouvez utiliser la notation {wildcard} pour écouter toutes ces sous-collections (par exemple : chats/{chatid}/posts ).

Configuration supplémentaire

Avant d'installer cette extension, vous devez :

Remplir votre ensemble de données BigQuery

Cette extension envoie uniquement le contenu des documents qui ont été modifiés. Elle n'exporte pas votre ensemble de données complet de documents existants dans BigQuery. Ainsi, pour remplir votre ensemble de données BigQuery avec tous les documents de votre collection, vous pouvez exécuter le script d'importation fourni par cette extension.

Important : exécutez le script d'importation sur l'ensemble de la collection après avoir installé cette extension, sinon toutes les écritures dans votre base de données lors de l'importation pourraient être perdues.

Générer des vues de schéma

Une fois vos données dans BigQuery, vous pouvez exécuter le script schema-views (fourni par cette extension) pour créer des vues qui facilitent l'interrogation des données pertinentes. Il vous suffit de fournir un fichier de schéma JSON qui décrit votre structure de données, et le script schema-views créera les vues.

Facturation

Pour installer une extension, votre projet doit être sur le plan Blaze (pay as you go)

  • Un petit montant (généralement environ 0,01 $/mois) vous sera facturé pour les ressources Firebase requises par cette extension (même si elle n'est pas utilisée).
  • Cette extension utilise d'autres services Firebase et Google Cloud Platform, qui entraînent des frais si vous dépassez le niveau gratuit du service :
  • BigQuery (cette extension écrit dans BigQuery avec des inserts de streaming )
  • Cloud Firestore
  • Fonctions Cloud (environnement d'exécution Node.js 10+. Voir FAQ )

Comment installer cette extension

Utiliser la console Firebase

Pour installer et gérer les extensions, vous pouvez utiliser la console Firebase.

Installer à l'aide de la console

Utiliser la CLI de Firebase

Pour installer et gérer les extensions, vous pouvez également utiliser la CLI Firebase :

Étape 1 : exécutez la commande npm suivante pour installer la CLI ou mettre à jour vers la dernière version de la CLI.

npm install -g firebase-tools
Ne fonctionne pas ? Jetez un œil à la référence de la CLI Firebase ou modifiez vos autorisations npm .

Étape 2 : Installez cette extension en exécutant la commande suivante

firebase ext:install firebase/firestore-bigquery-export --project=projectId_or_alias
Auteur
Licence
Apache-2.0
Version
0.1.14