Google is committed to advancing racial equity for Black communities. See how.
Ta strona została przetłumaczona przez Cloud Translation API.
Switch to English

Eksportuj kolekcje do BigQuery

Firebase
Stworzone przez Firebase

Wysyła w czasie rzeczywistym przyrostowe aktualizacje z określonej kolekcji Cloud Firestore do BigQuery.

Jak działa to rozszerzenie

Użyj tego rozszerzenia, aby wyeksportować dokumenty z kolekcji Cloud Firestore do BigQuery. Eksport odbywa się w czasie rzeczywistym i odbywa się przyrostowo, więc dane w BigQuery odzwierciedlają Twoje treści w Cloud Firestore.

Rozszerzenie tworzy i aktualizuje zbiór danych zawierający następujące dwa zasoby BigQuery:

  • Tabela nieprzetworzonych danych, która przechowuje pełną historię zmian dokumentów w Twojej kolekcji. Ta tabela zawiera kilka pól metadanych, dzięki czemu BigQuery może wyświetlać aktualny stan Twoich danych. Podstawowe pola metadanych timestamp , document_name , a operation na zmiany dokumentu.
  • Widok, który reprezentuje aktualny stan danych w Twojej kolekcji. Pokazuje również dziennik ostatnich operation dla każdego dokumentu ( CREATE , UPDATE lub IMPORT ).

Jeśli utworzysz, zaktualizujesz, usuniesz lub zaimportujesz dokument w określonej kolekcji, to rozszerzenie wyśle ​​tę aktualizację do BigQuery. Następnie możesz uruchamiać zapytania na tym lustrzanym zestawie danych.

Zwróć uwagę, że to rozszerzenie nasłuchuje tylko zmian dokumentów w kolekcji, ale nie nasłuchuje zmian w żadnej podkolekcji . Możesz jednak zainstalować dodatkowe wystąpienia tego rozszerzenia, aby w szczególności nasłuchiwać kolekcji podrzędnej lub innych kolekcji w bazie danych. Lub jeśli masz tę samą podkolekcję w dokumentach w danej kolekcji, możesz użyć notacji {wildcard} aby odsłuchać wszystkie te podkolekcje (na przykład: chats/{chatid}/posts ).

Dodatkowa konfiguracja

Przed zainstalowaniem tego rozszerzenia musisz:

Uzupełnij swój zbiór danych BigQuery

To rozszerzenie wysyła tylko treść zmienionych dokumentów - nie eksportuje pełnego zbioru danych istniejących dokumentów do BigQuery. Aby więc uzupełnić zbiór danych BigQuery wszystkimi dokumentami ze swojej kolekcji, możesz uruchomić skrypt importu udostępniany przez to rozszerzenie.

Ważne: Po zainstalowaniu tego rozszerzenia uruchom skrypt importu na całej kolekcji, w przeciwnym razie wszystkie zapisy w bazie danych podczas importu mogą zostać utracone.

Generuj widoki schematu

Gdy dane znajdą się w BigQuery, możesz uruchomić skrypt widoków schematu (udostępniany przez to rozszerzenie), aby utworzyć widoki, które ułatwiają przeszukiwanie odpowiednich danych. Wystarczy dostarczyć plik schematu JSON, który opisuje strukturę danych, a skrypt widoków schematu utworzy widoki.

Dane do faktury

Aby zainstalować rozszerzenie, projekt musi być objęty abonamentem Blaze (płatność zgodnie z rzeczywistym użyciem )

  • Za zasoby Firebase wymagane przez to rozszerzenie (nawet jeśli nie jest używane) będziemy pobierać niewielką opłatę (zwykle około 0,01 USD miesięcznie).
  • To rozszerzenie korzysta z innych usług Firebase i Google Cloud Platform, z którymi są powiązane opłaty, jeśli przekroczysz bezpłatny poziom usługi:
  • BigQuery (to rozszerzenie zapisuje w BigQuery za pomocą wstawiania strumieniowego )
  • Cloud Firestore
  • Cloud Functions (środowisko wykonawcze Node.js 10+. Zobacz często zadawane pytania )

Jak zainstalować to rozszerzenie

Korzystanie z konsoli Firebase

Aby zainstalować rozszerzenia i zarządzać nimi, możesz użyć konsoli Firebase.

Zainstaluj za pomocą konsoli

Korzystanie z interfejsu wiersza polecenia Firebase

Aby zainstalować rozszerzenia i zarządzać nimi, możesz również użyć interfejsu wiersza polecenia Firebase:

Krok 1: Uruchom następujące polecenie npm, aby zainstalować interfejs CLI lub zaktualizować do najnowszej wersji CLI.

npm install -g firebase-tools
Nie działa? Zapoznaj się z dokumentacją dotyczącą interfejsu wiersza polecenia Firebase lub zmień swoje uprawnienia npm .

Krok 2: Zainstaluj to rozszerzenie, uruchamiając następujące polecenie

firebase ext:install firestore-bigquery-export --project=projectId_or_alias
Autor
Licencja
Apache-2.0
Wersja
0.1.9