O Google tem o compromisso de promover a igualdade racial para as comunidades negras. Saiba como.
Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.

Fazer streaming de coleções para o BigQuery

Firebase
Made by Firebase

Envia atualizações graduais em tempo real de uma coleção especificada do Cloud Firestore para o BigQuery.

Como esta extensão funciona

Use essa extensão para exportar os documentos em uma coleção do Cloud Firestore para o BigQuery. As exportações são graduais e em tempo real. Assim, os dados no BigQuery espelham o conteúdo do Cloud Firestore.

A extensão cria e atualiza um conjunto de dados que contém estes dois recursos do BigQuery:

  • Uma tabela de dados brutos que armazena o histórico completo de alterações em documentos da coleção. Essa tabela inclui vários campos de metadados para que o BigQuery possa exibir o estado atual dos dados. Os principais campos de metadados referentes a alterações no documento são timestamp , document_name e operation .
  • Uma visualização que representa o estado atual dos dados na coleção. Ela também mostra um registro de operation mais recente de cada documento ( CREATE , UPDATE , or IMPORT ).

Se você criar, atualizar, excluir ou importar um documento na coleção especificada, a extensão enviará essa modificação ao BigQuery. Depois, você pode fazer consultas nesse conjunto de dados espelhado.

A extensão detecta apenas alterações no documento da coleção, mas não na subcoleção . No entanto, é possível instalar mais instâncias dessa extensão para fazer detecções especificamente em uma subcoleção ou outras coleções no banco de dados. Se tiver a mesma subcoleção em todos os documentos em uma determinada coleção, você pode usar a notação "{wildcard}" para ouvir todas essas subcoleções (por exemplo: "chats/{chatid}/posts").

Se você ativar as referências de caractere curinga, verá outra coluna com base em STRING. O valor do campo JSON resultante refere-se a todos os caracteres curinga incluídos em ${param:COLLECTION_PATH}. É possível extraí-las com JSON_EXTRACT_SCALAR.

Não é possível atualizar as configurações da 'partição' em uma - tabela atual, se essas opções forem necessárias, crie uma nova tabela.

`Clustering' não precisará criar ou modificar uma tabela ao adicionar opções de clustering, isso será atualizado automaticamente.

Configuração adicional

Antes de instalar esta extensão, você precisará fazer o seguinte:

Transformar função

Antes do envio alteração do documento para o BigQuery, você tem a oportunidade de transformar os dados com uma função HTTP. O payload conterá o seguinte:

{ 
  data: [{
    insertId: int;
    json: {
      timestamp: int;
      event_id: int;
      document_name: string;
      document_id: int;
      operation: ChangeType;
      data: string;
    },
  }]
}

A resposta precisa ser categórica em estrutura.

Preenchimento do conjunto de dados do BigQuery

Esta extensão envia apenas o conteúdo de documentos que foram alterados. -- ela não exporta todo o conjunto de dados de documentos para o BigQuery. Portanto, para preencher o conjunto de dados do BigQuery com todos os documentos na coleção, basta executar o script de importação fornecido pela extensão.

Importante: execute o script em toda a coleção depois de instalar a extensão. Caso contrário, todas as gravações no banco de dados durante a importação poderão ser perdidas.

Gerar visualizações de esquemas

Depois que seus dados estiverem no BigQuery, execute o script de visualizações de esquemas fornecido pela extensão para criar visualizações que facilitam as consultas de dados relevantes. Basta fornecer um arquivo de esquema JSON que descreva sua estrutura de dados. O script criará as visualizações.

Faturamento

Para instalar uma extensão, seu projeto precisa estar no plano Blaze (pagamento por utilização)

– Um pequeno valor será cobrado de você (geralmente cerca de US$ 0,01/mês) referente aos recursos do Firebase exigidos pela extensão, mesmo se não forem usados. – Esta extensão usa outros serviços do Firebase e do Google Cloud Platform, que têm cobranças associadas caso o nível sem custos seja excedido: – BigQuery (a extensão faz gravações no BigQuery com inserções por streaming ) – Cloud Firestore – Cloud Functions (Tempo de execução do Node.js 10+. Consulte as perguntas frequentes )

Como instalar a extensão

Como usar o Console do Firebase

Para instalar e gerenciar extensões, use o Console do Firebase.

Instalar usando o console

Como usar a Firebase CLI

Para instalar e gerenciar extensões, também é possível usar a Firebase CLI:

Etapa 1: execute o comando npm (em inglês) a seguir para instalar a CLI ou atualizá-la para a versão mais recente.

npm install -g firebase-tools
Não está funcionando? Consulte a referência da Firebase CLI ou altere suas permissões do npm (em inglês).

Etapa 2: configurar um novo diretório do projeto no Firebase ou acessar um já configurado

Etapa 3: adicionar esta extensão ao seu manifesto de extensões ao ser executada

firebase ext:install firebase/firestore-bigquery-export --local --project=projectId_or_alias

Step 4 (Optional): Test this extension locally with the Firebase Emulator Suite

firebase emulators:start

Etapa 5: implantar as extensões do seu manifesto ao projeto

firebase deploy --only extensions --project=projectId_or_alias
Compatível com
Cloud Firestore
Autor
Licença
Apache-2.0
Versão
0.1.25