Eksportowanie danych z Crashlytics do BigQuery

Możesz wyeksportować dane Firebase Crashlytics do formatu BigQuery. Gdy dane znajdą się w BigQuery, możesz analizować je za pomocą zapytań SQL, tworzyć wizualizacje danych i niestandardowe panele, a nawet eksportować dane do innych usług.

Na tej stronie dowiesz się, jak skonfigurować eksportowanie danych o sesjach Crashlytics i (opcjonalnie) Firebase do BigQuery.

Konfigurowanie eksportu do BigQuery

  1. W konsoli Firebase otwórz stronę Integracje.

  2. Na karcie BigQuery kliknij Połącz.

  3. Postępuj zgodnie z instrukcjami wyświetlanymi na ekranie, aby skonfigurować eksportowanie do BigQuery, w tym te opcje:

Odłączenie od BigQuery spowoduje zakończenie wypełniania odpowiednich zbiorów danych w BigQuery.

Pamiętaj:

  • Wszystkie dane wyeksportowane już do BigQuery będą przechowywane przez dozwolony czas retencji, a opłaty za przechowywanie i zapytania mogą być nadal naliczane. Aby uniknąć dalszych opłat, możesz ręcznie usunąć zbiory danych.

  • Jeśli przechowujesz dane BigQuery w innych usługach, mogą Cię obowiązywać inne warunki przechowywania danych.

Możesz odłączyć usługę BigQuery na poziomie projektu Firebase, na poziomie usługi lub na poziomie aplikacji w przypadku konkretnej usługi.

Aby odłączyć konto od BigQuery:

  1. W konsoli Firebase otwórz stronę Integracje.

  2. Na karcie BigQuery kliknij Zarządzaj.

  3. Wybierz odłączenie konkretnej usługi lub odłączenie określonych aplikacji w ramach konkretnej usługi.

    Aby całkowicie odłączyć projekt Firebase, znajdź przycisk u dołu strony.

  4. Gdy pojawi się prośba, potwierdź, że chcesz zatrzymać eksportowanie.


Co się stanie, gdy włączysz eksportowanie?

  • Firebase eksportuje dane z aplikacji połączonych z BigQuery.

    • Podczas konfiguracji domyślnie wszystkie aplikacje w projekcie są połączone z BigQuery, ale możesz nie łączyć konkretnych aplikacji podczas konfiguracji.

    • Wszystkie aplikacje, które dodasz później do projektu Firebase, zostaną automatycznie połączone z BigQuery.

    • W każdej chwili możesz określić, które aplikacje mają eksportować dane.

  • Firebase eksportuje dane do lokalizacji zbioru danych wybranej podczas konfiguracji.

    • Ta lokalizacja dotyczy zarówno zestawu danych Crashlytics, jak i zestawu danych sesji Firebase (jeśli eksportowanie danych o sesjach jest włączone).

    • Ta lokalizacja dotyczy tylko danych eksportowanych do BigQuery i nie ma wpływu na lokalizację danych przechowywanych do użytku w panelu Crashlytics w konsoli Firebase ani w Android Studio.

    • Po utworzeniu zbioru danych nie można zmienić jego lokalizacji. Możesz natomiast skopiować zbiór danych do innej lokalizacji lub go ręcznie przenieść przez ponowne utworzenie tego zbioru w innej lokalizacji. Więcej informacji znajdziesz w artykule Zmiana lokalizacji istniejących eksportów.

  • Firebase konfiguruje codzienne synchronizacje danych zbiorczych z BigQuery.

    • Po połączeniu z BigQuery eksport początkowej partii danych może potrwać do 48 godzin.

    • Synchronizacja dzienna odbywa się raz dziennie, niezależnie od zaplanowanego eksportu, który możesz skonfigurować w BigQuery. Pamiętaj, że czas i długość trwania zadania synchronizacji mogą się zmieniać, dlatego nie zalecamy planowania operacji ani zadań podrzędnych na podstawie konkretnego czasu eksportu.

  • Firebaseeksportuje kopię Twoich dotychczasowych danych do BigQuery.

    • W przypadku każdej połączonej aplikacji ten eksport obejmuje tabelę zbiorczą zawierającą dane z codziennej synchronizacji.

    • Możesz ręcznie zaplanować uzupełnianie danych w tabeli zbiorczej z okresu do 30 dni wstecz lub z najnowszego dnia, w którym włączono eksportowanie do BigQuery (w zależności od tego, która data jest nowsza).

    Pamiętaj, że jeśli włączysz eksportowanie danych Crashlytics przed połową października 2024 r., możesz też uzupełnić dane z okresu 30 dni przed dniem, w którym włączysz eksportowanie.

  • Jeśli włączysz eksportowanie strumieniowe do BigQuery, Firebase wykona te czynności:

    • Każda połączona aplikacja będzie też mieć własną tabelę w czasie rzeczywistym zawierającą stale aktualizowane dane (oprócz tabeli zbiorczej aplikacji do codziennego eksportu zbiorczego).

    • Po włączeniu przesyłania strumieniowego rozpoczęcie przesyłania danych może potrwać do godziny.


Korzyści z eksportu strumieniowego do BigQuery

Domyślnie dane są eksportowane do BigQuery w ramach codziennego eksportu zbiorczego. Możesz też przesyłać strumieniowo dane Crashlytics i sesje Firebase w czasie rzeczywistym za pomocą strumieniowania BigQuery. Dane przesyłane strumieniowo możesz wykorzystywać do dowolnych celów, które wymagają danych na żywo, np. do prezentowania informacji na panelu na żywo, obserwowania wdrożenia na żywo lub monitorowania problemów z aplikacją, które wywołują alerty i niestandardowe przepływy pracy.

Gdy włączysz eksport strumieniowy do BigQuery, będziesz mieć też tabele w czasie rzeczywistym (oprócz tabel wsadowych). Oba typy tabel będą miały ten sam schemat zbioru danych, ale istnieją między nimi pewne ważne różnice:

Tabela zbiorcza Tabela Czas rzeczywisty
  • Dane są eksportowane raz dziennie.
  • Zdarzenia są trwale przechowywane przed zapisaniem ich w BigQuery.
  • Dane mogą być uzupełniane do 30 dni wstecz*.
  • Dane są eksportowane w czasie rzeczywistym.
  • Wypełnianie nie jest dostępne.

Tabela zbiorcza idealnie nadaje się do analizy długoterminowej i identyfikowania trendów w czasie, ponieważ trwale przechowujemy zdarzenia przed ich zapisaniem i możemy uzupełniać nimi tabelę przez maksymalnie 30 dni*. Gdy zapisujemy dane w tabeli czasu rzeczywistego, od razu zapisujemy je w BigQuery, dlatego idealnie nadaje się ona do paneli na żywo i alertów niestandardowych. Te 2 tabele można połączyć za pomocą zapytania o zszywanie, aby uzyskać korzyści z obu tych rozwiązań.

Domyślnie tabela czasu rzeczywistego ma czas ważności partycji wynoszący 30 dni. Aby dowiedzieć się, jak to zmienić, zapoznaj się z sekcją Ustawianie wygaśnięcia partycji w dokumentacji BigQuery.

* Szczegółowe informacje o obsłudze wypełniania pustych miejsc znajdziesz w artykule Przejście na nową infrastrukturę eksportu.


Ceny i BigQuery piaskownica

Jeśli Twój projekt Firebase korzysta z bezpłatnego abonamentu Spark, możesz używać BigQuerypiaskownicy, która zapewnia bezpłatny dostęp do BigQuery. Informacje o BigQuerypiaskownicy i jej możliwościach znajdziesz w artykule Korzystanie z BigQuerypiaskownicy.

Jeśli Twój projekt Firebase korzysta z abonamentu Blaze (płatność według zużycia zasobów), możesz używać wszystkich funkcji BigQuery. Korzystanie z BigQuery podlega BigQuerycennikowi, który obejmuje ograniczone bezpłatne użytkowanie.


Przejście na nową infrastrukturę eksportu w przypadku BigQuery

W połowie października 2024 r. Crashlytics wprowadziła nową infrastrukturę do zbiorczego eksportowania danych Crashlytics do BigQuery.

  • Jeśli włączysz eksportowanie zbiorcze po październiku 2024 r., Twój projekt Firebase będzie automatycznie korzystać z nowej infrastruktury eksportowania. Nie musisz nic robić.

  • Jeśli eksportowanie zbiorcze zostało włączone przed październikiem 2024 r. lub w tym miesiącu, zapoznaj się z informacjami w artykule „Jak przejść na nową infrastrukturę eksportowania danych do BigQuery?”, aby sprawdzić, czy musisz podjąć jakieś działania.


Co dalej?