Eksportowanie danych z Crashlytics do BigQuery

Możesz wyeksportować swoje dane Firebase Crashlytics do formatu BigQuery. Gdy dane znajdą się w BigQuery, możesz analizować je za pomocą zapytań SQL, tworzyć wizualizacje danych i niestandardowe panele, a nawet eksportować dane do innych usług.

Na tej stronie dowiesz się, jak skonfigurować eksportowanie danych o sesjach Crashlytics i (opcjonalnie) Firebase do BigQuery.

Konfigurowanie eksportu do BigQuery

  1. W konsoli Firebase otwórz stronę Ustawienia > Integracje.

  2. Na karcie BigQuery kliknij Połącz.

  3. Postępuj zgodnie z instrukcjami wyświetlanymi na ekranie, aby skonfigurować eksportowanie do BigQuery, w tym te opcje:

Odłączenie od BigQuery spowoduje zakończenie wypełniania odpowiednich zbiorów danych w BigQuery.

Pamiętaj:

  • Wszystkie dane wyeksportowane już do BigQuery będą przechowywane przez dozwolony czas retencji, a opłaty za przechowywanie i zapytania mogą być nadal naliczane. Aby uniknąć dalszych opłat, możesz ręcznie usunąć zbiory danych.

  • Jeśli przechowujesz dane BigQuery w innych usługach, dane te mogą podlegać innym warunkom przechowywania danych.

Możesz odłączyć usługę BigQuery na poziomie projektu w Firebase, na poziomie usługi lub na poziomie aplikacji w przypadku konkretnej usługi.

Aby odłączyć konto od BigQuery:

  1. W konsoli Firebase otwórz kartę Ustawienia > Integracje.

  2. Na karcie BigQuery kliknij Zarządzaj.

  3. Możesz odłączyć konkretną usługę lub konkretne aplikacje w ramach danej usługi.

    Aby całkowicie odłączyć projekt w Firebase, znajdź przycisk u dołu strony.

  4. Gdy pojawi się komunikat, potwierdź, że chcesz zatrzymać eksportowanie.


Co się stanie, gdy włączysz eksportowanie?

  • Firebase eksportuje dane z aplikacji połączonych z BigQuery.

    • Podczas konfiguracji domyślnie wszystkie aplikacje w projekcie są połączone z BigQuery, ale możesz nie łączyć konkretnych aplikacji podczas konfiguracji.

    • Wszystkie aplikacje, które dodasz później do projektu w Firebase, zostaną automatycznie połączone z BigQuery.

    • W każdej chwili możesz określić, które aplikacje mają eksportować dane.

  • Firebase eksportuje dane do lokalizacji zbioru danych wybranej podczas konfiguracji.

    • Ta lokalizacja dotyczy zarówno zestawu danych Crashlytics, jak i zestawu danych sesji Firebase (jeśli eksportowanie danych o sesjach jest włączone).

    • Ta lokalizacja dotyczy tylko danych eksportowanych do BigQuery i nie ma wpływu na lokalizację danych przechowywanych na potrzeby korzystania z panelu Crashlytics w konsoli Firebase lub w Android Studio.

    • Po utworzeniu zbioru danych nie można zmienić jego lokalizacji. Możesz natomiast skopiować zbiór danych do innej lokalizacji lub ręcznie przenieść (ponownie utworzyć) zbiór danych w innej lokalizacji. Więcej informacji znajdziesz w artykule Zmiana lokalizacji istniejących eksportów.

  • Firebase konfiguruje codzienne synchronizacje danych zbiorczych z BigQuery.

    • Po połączeniu z BigQuery eksport początkowej partii danych może potrwać do 48 godzin.

    • Codzienna synchronizacja odbywa się raz dziennie, niezależnie od zaplanowanego eksportu, który mógł zostać skonfigurowany w BigQuery. Pamiętaj, że czas i długość zadania synchronizacji mogą się zmieniać, dlatego nie zalecamy planowania operacji ani zadań podrzędnych na podstawie konkretnego czasu eksportu.

  • Firebaseeksportuje kopię Twoich dotychczasowych danych do BigQuery.

    • W przypadku każdej powiązanej aplikacji eksport obejmuje tabelę pakietów zawierającą dane z codziennej synchronizacji.

    • Możesz ręcznie zaplanować uzupełnianie danych w tabeli zbiorczej z okresu do 30 dni wstecz lub z najnowszego dnia, w którym włączono eksportowanie do BigQuery (w zależności od tego, która data jest najnowsza).

  • Jeśli włączysz eksportowanie strumieniowe do BigQuery, Firebase wykona te czynności:

    • Każda połączona aplikacja będzie też miała własną tabelę w czasie rzeczywistym zawierającą stale aktualizowane dane (oprócz tabeli zbiorczej aplikacji do codziennego eksportu zbiorczego).

    • Po włączeniu przesyłania strumieniowego rozpoczęcie przesyłania danych może potrwać do godziny.


Korzyści z eksportu strumieniowego do BigQuery

Domyślnie dane są eksportowane do BigQuery w ramach codziennego eksportu zbiorczego. Możesz też przesyłać strumieniowo dane Crashlytics i sesje Firebase w czasie rzeczywistym za pomocą BigQuery. Dane przesyłane strumieniowo możesz wykorzystywać do dowolnych celów, które wymagają danych na żywo, np. do prezentowania informacji w panelu transmisji na żywo, obserwowania wdrożenia na żywo lub monitorowania problemów z aplikacjami, które wywołują alerty i niestandardowe przepływy pracy.

Gdy włączysz eksportowanie strumieniowe do BigQuery, będziesz mieć dostęp do tabel w czasie rzeczywistym (oprócz tabel wsadowych). Oba typy tabel będą miały ten sam schemat zbioru danych, ale między tabelami wsadowymi a tabelami w czasie rzeczywistym występują pewne istotne różnice:

Tabela zbiorcza Tabela Czas rzeczywisty
  • Dane są eksportowane raz dziennie.
  • Zdarzenia są trwale przechowywane przed zapisaniem wsadowym w BigQuery.
  • Dane mogą być uzupełniane do 30 dni wstecz*.
  • Dane są eksportowane w czasie rzeczywistym.
  • Wypełnianie wsteczne nie jest dostępne.

Tabela zbiorcza jest idealna do analiz długoterminowych i identyfikowania trendów w czasie, ponieważ trwale przechowujemy zdarzenia przed ich zapisaniem i możemy je uzupełniać w tabeli przez maksymalnie 30 dni*. Gdy zapisujemy dane w tabeli aktualizowanej w czasie rzeczywistym, od razu zapisujemy je w BigQuery, dlatego jest ona idealna do paneli na żywo i alertów niestandardowych. Te 2 tabele można połączyć za pomocą zapytania o łączenie, aby uzyskać korzyści z obu.

Domyślnie tabela czasu rzeczywistego ma okres ważności partycji wynoszący 30 dni. Aby dowiedzieć się, jak to zmienić, zapoznaj się z sekcją Ustawianie okresu ważności partycji w dokumentacji BigQuery.

* Wypełnianie wsteczne jest obsługiwane w przypadku danych z ostatnich 30 dni lub z najnowszej daty, w której włączono eksport do BigQuery (w zależności od tego, która z tych dat jest późniejsza).


Ceny i BigQuery piaskownica

Jeśli Twój projekt w Firebase korzysta z bezpłatnego abonamentu Spark, możesz używać BigQuerypiaskownicy, która zapewnia bezpłatny dostęp do BigQuery. Informacje o BigQuerypiaskownicy i jej możliwościach znajdziesz w artykule Korzystanie z BigQuerypiaskownicy.

Jeśli Twój projekt w Firebase korzysta z abonamentu Blaze z płatnością według wykorzystania, możesz korzystać ze wszystkich funkcji BigQuery. Korzystanie z BigQuery podlega BigQuery cennikowi, który obejmuje ograniczone bezpłatne korzystanie.


Co dalej?