Google se compromete a impulsar la igualdad racial para las comunidades afrodescendientes. Obtén información al respecto.

Stream Collections to BigQuery

Firebase
Autor: Firebase

Envía actualizaciones incrementales y en tiempo real de una colección específica de Cloud Firestore a BigQuery.

Cómo funciona esta extensión

Usa esta extensión para exportar los documentos de una colección de Cloud Firestore a BigQuery. Las exportaciones se realizan incrementalmente y en tiempo real, por lo que los datos que hay en BigQuery son un duplicado del contenido de Cloud Firestore.

Esta extensión crea y actualiza un conjunto de datos que contiene los siguientes dos recursos de BigQuery:

  • Una tabla de datos sin procesar en la que se almacena todo el historial de cambios de los documentos de la colección. Esta tabla incluye varios campos de metadatos, de modo que BigQuery puede mostrar el estado actual de tus datos. Los principales campos de metadatos para ver los cambios en el documento son timestamp (la marca de tiempo), document_name (el nombre del documento) y operation (la operación de cambio del documento).
  • Una vista que representa el estado actual de los datos de la colección. También muestra un registro de la operación más reciente que se realizó con cada documento (CREATE, UPDATE o IMPORT).

Si creas, actualizas, borras o importas un documento en la colección especificada, la extensión envía esa actualización a BigQuery. Después podrás ejecutar búsquedas en el conjunto de datos duplicado.

Ten en cuenta que esta extensión solo detecta los cambios que se realizan en los documentos de la colección, pero no los que se hacen en las subcolecciones. Sin embargo, puedes instalar instancias adicionales de la extensión específicamente para que detecten cambios en una subcolección determinada o en otras colecciones de la base de datos. También, si tienes la misma subcolección entre documentos de una colección, puedes usar la notación {wildcard} para detectar cambios en todas las subcolecciones (por ejemplo: chats/{chatid}/publicaciones).

Configuración adicional

Deberás hacer lo siguiente antes de instalar esta extensión:

Reabastece el conjunto de datos de BigQuery

Esta extensión solo envía el contenido de los documentos que tuvieron cambios. No exporta a BigQuery todo el conjunto de datos de documentos existentes. Por lo tanto, para reabastecer el conjunto de datos de BigQuery con todos los documentos de la colección, debes ejecutar la secuencia de comandos de importación que proporciona la extensión.

Importante: Ejecuta la secuencia de comandos de importación en toda la colección después de instalar la extensión. De lo contrario, podrían perderse todas las operaciones de escritura realizadas en la base de datos durante la importación.

Genera vistas de esquema

Una vez que los datos estén en BigQuery, puedes ejecutar la secuencia de comandos de vistas de esquema (que se proporciona con la extensión) a fin de crear vistas que faciliten la búsqueda de datos relevantes. Lo único que debes hacer es proporcionar un archivo JSON de esquema que describa la estructura de los datos para que la secuencia de comandos de vistas de esquema cree las vistas.

Facturación

Para instalar una extensión, tu proyecto debe tener el plan Blaze (prepago)

  • Se te cobrará un pequeño importe (aproximadamente $0.01 al mes) por los recursos de Firebase que requieren esta extensión (incluso si no se usa).
  • Esta extensión usa otros servicios de Firebase y Google Cloud Platform, que tienen cargos asociados si excedes el nivel gratuito:
  • BigQuery (esta extensión realiza operaciones de escritura en BigQuery con inserciones de transmisión)
  • Cloud Firestore
  • Cloud Functions (tiempo de ejecución de Node.js 10+. Consulta las Preguntas frecuentes)

Cómo instalar esta extensión

Usa Firebase console

Puedes usar Firebase console para instalar y administrar las extensiones.

Instala con console

Usa Firebase CLI

También puedes usar Firebase CLI para instalar y administrar las extensiones.

Paso 1: Ejecuta el siguiente comando npm para instalar la CLI o actualizarla a la versión más reciente.

npm install -g firebase-tools
¿No funciona? Consulta la referencia de Firebase CLI o cambia tus permisos de npm.

Paso 2: Ejecuta el siguiente comando para instalar la extensión.

firebase ext:install firebase/firestore-bigquery-export --project=projectId_or_alias
Licencia
Apache-2.0
Versión
0.1.20