Как экспортировать данные Crashlytics в BigQuery

Вы можете экспортировать данные из сервиса "Firebase Crashlytics" в BigQuery. После этогоBigQuery вы сможете анализировать данные с помощью SQL-запросов, создавать визуализации данных и настраиваемые панели управления и даже экспортировать данные в другие сервисы.

В этой статье рассказывается, как настроить экспорт данных о сеансах Crashlytics и Firebase (необязательно) в BigQuery.

Настроить экспорт в BigQuery

  1. В консоли Firebase перейдите на страницу Settings (Настройки) > Integrations (Интеграции).

  2. На карточке BigQuery нажмите Связать.

  3. Следуйте инструкциям на экране, чтобы настроить экспорт в BigQuery, в том числе следующие параметры:

Если вы отмените связь с BigQuery, то заполнение соответствующих наборов данных в BigQuery будет прекращено,

Обратите внимание:

  • Все данные, уже экспортированные в BigQuery, будут храниться в течение разрешенного срока. При этом может взиматься плата за хранение и запросы. Чтобы предотвратить такие расходы, вы можете удалить эти наборы данных вручную.

  • Если у вас есть данные BigQuery, хранящиеся в других сервисах, на них могут распространяться другие условия хранения данных.

Отменить связь с BigQuery можно на уровне проекта Firebase, продукта или приложения для определенного продукта.

Вот как отменить связь с BigQuery:

  1. В консоли Firebase перейдите на вкладку Settings (Настройки) > Integrations (Интеграции).

  2. На карточке BigQuery нажмите Управление.

  3. Выберите, что вы хотите сделать: отменить связь с определенным продуктом или отменить связь определенных приложений с определенным продуктом.

    Чтобы полностью отменить связь с проектом Firebase, нажмите кнопку внизу страницы.

  4. Подтвердите, что хотите остановить экспорт.


Что происходит после включения экспорта?

  • Firebase экспортирует данные из приложений, связанных с BigQuery.

  • Firebase экспортирует данные в набор данных, местоположение которого вы выбрали при настройке.

    • Это местоположение применяется как к набору данных Crashlytics, так и к набору данных сеансов Firebase (если для данных сеансов включен экспорт).

    • Это местоположение применяется только к данным, экспортированным в BigQuery, и не влияет на местоположение данных, хранящихся для использования на панели управления Crashlytics в консоли Firebase или в Android Studio.

    • После создания набора данных местоположение изменить нельзя, но можно скопировать набор данных в другое место или вручную переместить (воссоздать) набор данных в другое местоположение. Подробнее о том, как изменить местоположение для существующих экспортов…

  • Firebase настраивает ежедневную синхронизацию пакетных данных с BigQuery.

    • После связывания с BigQuery может пройти до 48 часов, прежде чем начнется первый пакетный экспорт данных.

    • Ежедневная синхронизация выполняется один раз в день независимо от того, настроен ли у вас запланированный экспорт в BigQuery. Обратите внимание, что время и продолжительность синхронизации могут меняться, поэтому мы не рекомендуем планировать последующие операции или задания на основе определенного времени экспорта.

  • Firebase экспортирует копию ваших данных в BigQuery.

    • Для каждого связанного приложения этот экспорт включает пакетную таблицу, содержащую данные из ежедневной синхронизации.

    • Вы можете вручную запланировать заполнение данными таблицы пакетной загрузки за последние 30 дней или за дату, когда вы включили экспорт в BigQuery (в зависимости от того, что было позже).

  • Если вы включите потоковый экспорт в BigQuery, Firebase будет выполнять следующие действия:

    • Для каждого связанного приложения также будет создана таблица, в которую данные будут поступать в режиме реального времени (в дополнение к таблице для ежедневного пакетного экспорта).

    • После включения потоковой передачи может пройти до часа, прежде чем начнется передача данных.


Преимущества потокового экспорта в BigQuery

По умолчанию данные экспортируются в BigQuery в виде ежедневного пакетного экспорта. Кроме того, вы можете передавать данные Crashlytics и сеансы Firebase в режиме реального времени с помощью потоковой передачи BigQuery. Потоковую передачу данных можно использовать для любых целей, требующих данных в реальном времени, например для представления информации на панели управления трансляциями, наблюдения за развертыванием или отслеживания проблем с приложениями, которые вызывают оповещения и настраиваемые рабочие процессы.

Если вы включите потоковый экспорт в BigQuery, то помимо пакетных таблиц у вас также будут таблицы в реальном времени. Оба типа таблиц будут иметь одинаковую схему набора данных, но между ними есть важные различия:

Таблица пакетной обработки Таблица в реальном времени
  • Данные экспортируются один раз в день.
  • События надежно хранятся до пакетной записи в BigQuery.
  • Данные можно добавить за период до 30 дней*.
  • Данные экспортируются в реальном времени.
  • Заполнение недоступно.

Пакетная таблица идеально подходит для долгосрочного анализа и выявления тенденций, поскольку мы надежно храним события перед их записью, и они могут быть добавлены в таблицу в течение 30 дней*. Когда мы записываем данные в таблицу realtime, мы сразу же записываем их в BigQuery, поэтому она идеально подходит для панелей управления и специальных оповещений. Эти две таблицы можно объединить с помощью запроса, чтобы получить преимущества обеих.

По умолчанию срок хранения данных в таблице составляет 30 дней. Чтобы узнать, как изменить этот параметр, ознакомьтесь с разделом Как задать срок хранения раздела в документации по BigQuery.

* Дополнение поддерживается за последние 30 дней или с даты, когда вы включили экспорт в BigQuery (в зависимости от того, что было позже).


Цены и тестовая среда BigQuery

Если в вашем проекте Firebase используется бесплатный тарифный план Spark, вы можете использовать изолированную среду BigQuery, которая предоставляет бесплатный пробный доступ к BigQuery. Подробную информацию о тестовой среде BigQuery и ее возможностях вы найдете в статье Как использовать тестовую среду BigQuery.

Если в вашем проекте Firebase используется тарифный план Blaze с оплатой по мере использования, вам доступны все функции BigQuery. Использование BigQuery регулируется ценами на BigQuery, которые включают ограниченное бесплатное использование.


Что дальше?