O Google tem o compromisso de promover a igualdade racial para as comunidades negras. Saiba como.

Stream Collections to BigQuery

Feito pelo Firebase
Feito pelo Firebase

Envia atualizações graduais em tempo real de uma coleção especificada do Cloud Firestore para o BigQuery.

Como esta extensão funciona

Use essa extensão para exportar os documentos em uma coleção do Cloud Firestore para o BigQuery. As exportações são graduais e em tempo real. Assim, os dados no BigQuery espelham o conteúdo do Cloud Firestore.

A extensão cria e atualiza um conjunto de dados que contém estes dois recursos do BigQuery:

  • Uma tabela de dados brutos que armazena o histórico completo de alterações em documentos da coleção. Essa tabela inclui vários campos de metadados para que o BigQuery possa exibir o estado atual dos dados. Os principais campos de metadados referentes a alterações no documento são "timestamp", "document_name" e "operation".
  • Uma visualização que representa o estado atual dos dados na coleção. Ela também mostra um registro de "operation" mais recente de cada documento ("CREATE", "UPDATE" ou "IMPORT").

Se você criar, atualizar, excluir ou importar um documento na coleção especificada, a extensão enviará essa modificação ao BigQuery. Depois, você pode fazer consultas nesse conjunto de dados espelhado.

A extensão detecta apenas alterações no documento da coleção, mas não na subcoleção. No entanto, é possível instalar mais instâncias dessa extensão para fazer detecções especificamente em uma subcoleção ou outras coleções no banco de dados. Se você tiver a mesma subcoleção de uma determinada coleção em diferentes documentos, use a notação "{wildcard}" para fazer detecções em todas essas subcoleções. Por exemplo: "chats/{chatid}/posts".

Mais configurações

Antes de instalar a extensão, você precisará fazer o seguinte:

Preencha o conjunto de dados do BigQuery

A extensão envia apenas o conteúdo dos documentos que foram alterados. Ela não exporta o conjunto de dados completo dos documentos atuais para o BigQuery. Portanto, para preencher o conjunto de dados do BigQuery com todos os documentos na coleção, basta executar o script de importação fornecido pela extensão.

Importante: execute o script em toda a coleção depois de instalar a extensão. Caso contrário, todas as gravações no banco de dados durante a importação poderão ser perdidas.

Gerar visualizações de esquemas

Depois que seus dados estiverem no BigQuery, execute o script de visualizações de esquemas fornecido pela extensão para criar visualizações que facilitam as consultas de dados relevantes. Basta fornecer um arquivo de esquema JSON que descreva sua estrutura de dados. O script criará as visualizações.

Faturamento

Para instalar uma extensão, seu projeto precisa estar no plano Blaze, com pagamento por utilização

– Um pequeno valor será cobrado de você (geralmente cerca de US$ 0,01/mês) referente aos recursos do Firebase exigidos pela extensão, mesmo se não forem usados. – Esta extensão usa outros serviços do Firebase e do Google Cloud Platform, que têm cobranças associadas caso o nível gratuito seja excedido: – BigQuery (a extensão faz gravações no BigQuery com inserções por streaming) – Cloud Firestore – Cloud Functions (ambiente de execução Node.js 10+). Consulte as perguntas frequentes)

Como instalar a extensão

Como usar o Console do Firebase

Para instalar e gerenciar extensões, use o Console do Firebase.

Instalar usando o console

Como usar a Firebase CLI

Para instalar e gerenciar extensões, também é possível usar a Firebase CLI:

Etapa 1: execute o comando npm (em inglês) a seguir para instalar a CLI ou atualizá-la para a versão mais recente.

npm install -g firebase-tools
Não está funcionando? Consulte a referência da Firebase CLI ou altere suas permissões do npm (em inglês).

Etapa 2: execute o comando a seguir para instalar a extensão.

firebase ext:install firebase/firestore-bigquery-export --project=projectId_or_alias
Licença
Apache-2.0
Versão
0.1.20