Экспорт данных Crashlytics в BigQuery

Вы можете экспортировать данные из Firebase Crashlytics в BigQuery . После того, как данные окажутся в BigQuery , вы сможете анализировать их с помощью SQL-запросов , создавать визуализации данных и пользовательские панели мониторинга , а также экспортировать данные в другие сервисы .

На этой странице описано, как настроить экспорт данных о сессиях Crashlytics и (при необходимости) Firebase в BigQuery .

Настройте экспорт в BigQuery

  1. In the Firebase console, go to the Settings > Integrations page .

  2. In the BigQuery card, click Link .

  3. Follow the on-screen instructions to set up export to BigQuery , including the following options:

Unlinking from BigQuery stops the corresponding dataset(s) in BigQuery from being populated.

Обратите внимание на следующее:

  • Все данные, уже экспортированные в BigQuery , будут храниться в течение разрешенного срока хранения, и за хранение и запросы может взиматься дополнительная плата. Вы можете удалить свои наборы данных вручную, чтобы предотвратить дальнейшее выставление счетов.

  • If you have BigQuery data stored in other services, that data might be governed by different terms for data persistence.

You can unlink from BigQuery at the Firebase project level, at the product-level, or at the app-level for a specific product.

Here's how to unlink from BigQuery :

  1. В консоли Firebase перейдите в... Settings > Integrations tab .

  2. In the BigQuery card, click Manage .

  3. Choose to unlink a specific product or to unlink specific apps for a specific product.

    To unlink your Firebase project entirely, find the button at the bottom of the page.

  4. When prompted, confirm that you want to stop exports.


What happens when you enable export?

  • Firebase exports data from the apps linked to BigQuery .

    • During setup, by default, all apps in your project are linked to BigQuery , but you can select to not link specific apps during setup.

    • Any apps that you later add to your Firebase project are automatically linked to BigQuery .

    • At any time, you can manage which apps export data .

  • Firebase exports data to the dataset location you selected during setup.

    • This location applies to both the Crashlytics dataset and the Firebase sessions dataset (if sessions data is enabled for export).

    • Это местоположение применимо только к данным, экспортированным в BigQuery , и не влияет на местоположение данных, хранящихся для использования на панели Crashlytics в консоли Firebase или в Android Studio.

    • После создания набора данных его местоположение изменить нельзя, но вы можете скопировать набор данных в другое место или вручную переместить (создать заново) его в другом месте. Для получения дополнительной информации см. раздел «Изменение местоположения существующих экспортов» .

  • Firebase sets up daily syncs of your batch data to BigQuery .

    • After linking to BigQuery , it may take up to 48 hours for the initial batch data export.

    • Ежедневная синхронизация происходит один раз в день, независимо от запланированных экспортов, которые вы могли настроить в BigQuery . Обратите внимание, что время и продолжительность синхронизации могут меняться, поэтому мы не рекомендуем планировать последующие операции или задания, основываясь на конкретном времени экспорта.

  • Firebase exports a copy of your existing data to BigQuery .

    • For each linked app, this export includes a batch table containing the data from the daily sync.

    • Вы можете вручную запланировать заполнение данных в пакетной таблице за последние 30 дней или за самую последнюю дату, когда вы включили экспорт в BigQuery (в зависимости от того, какая дата является самой последней).

  • При включении потокового экспорта в BigQuery Firebase выполняет следующие действия.

    • Каждое связанное приложение также будет иметь собственную таблицу в реальном времени, содержащую постоянно обновляемые данные (в дополнение к таблице пакетной обработки данных приложения для ежедневного пакетного экспорта).

    • After enabling streaming, it may take up to 1 hour for data to begin streaming.


Benefits of streaming export to BigQuery

По умолчанию данные экспортируются в BigQuery в виде ежедневного пакетного экспорта. Кроме того, вы можете передавать данные Crashlytics и сессии Firebase в режиме реального времени с помощью потоковой передачи BigQuery . Вы можете использовать потоковые данные для любых целей, требующих данных в реальном времени, например, для отображения информации на панели мониторинга в реальном времени, наблюдения за развертыванием в режиме реального времени или мониторинга проблем в приложениях, которые запускают оповещения и пользовательские рабочие процессы.

При включении потокового экспорта в BigQuery у вас также появятся таблицы реального времени (в дополнение к пакетным таблицам). Оба типа таблиц будут иметь одинаковую схему набора данных , но вот некоторые важные различия между пакетными таблицами и таблицами реального времени:

Batch table Таблица в реальном времени
  • Данные экспортируются один раз в день.
  • События сохраняются с сохранением на длительный срок перед пакетной записью в BigQuery .
  • Данные можно заполнить задним числом за период до 30 дней*.
  • Данные экспортируются в режиме реального времени.
  • No backfilling is available.

Пакетная таблица идеально подходит для долгосрочного анализа и выявления тенденций во времени, поскольку мы надежно храним события до их записи, и данные могут быть добавлены в таблицу за период до 30 дней*. Когда мы записываем данные в вашу таблицу реального времени, мы немедленно записываем их в BigQuery , поэтому она идеально подходит для интерактивных панелей мониторинга и пользовательских оповещений. Эти две таблицы можно объединить с помощью запроса на объединение данных, чтобы получить преимущества обеих.

По умолчанию для таблиц реального времени установлен срок истечения действия разделов в 30 дней. Чтобы узнать, как изменить это значение, см. раздел «Установка срока истечения действия разделов» в документации BigQuery .

* Поддерживается заполнение данных за последние 30 дней или за самую последнюю дату, когда вы включили экспорт в BigQuery (в зависимости от того, какая дата является самой последней).


Цены и песочница BigQuery

Если ваш проект Firebase использует бесплатный тарифный план Spark, вы можете использовать песочницу BigQuery , которая предоставляет бесплатный пробный доступ к BigQuery . Для получения информации о песочнице BigQuery и ее возможностях см. раздел «Использование песочницы BigQuery .

Если ваш проект Firebase использует тарифный план Blaze с оплатой по мере использования, вы можете использовать все функции BigQuery . Использование BigQuery регулируется тарифами BigQuery , которые включают ограниченное бесплатное использование.


Что дальше?