Как экспортировать данные Crashlytics в BigQuery

Вы можете экспортировать данные Firebase Crashlytics в BigQuery. После того как данные будут добавлены в BigQuery, вы сможете анализировать их с помощью SQL-запросов, создавать визуализации данных и специальные панели управления и даже экспортировать данные в другие сервисы.

На этой странице рассказывается, как настроить экспорт данных о сеансах Crashlytics и (при необходимости) Firebase в BigQuery.

Как настроить экспорт в BigQuery

  1. В консоли Firebase перейдите на страницу Настройки > Интеграции.

  2. На карточке BigQuery нажмите Связать.

  3. Следуйте инструкциям на экране, чтобы настроить экспорт в BigQuery, в том числе:

Если вы отмените связь с BigQuery, то заполнение соответствующих наборов данных в BigQuery будет прекращено,

Обратите внимание:

  • Все данные, уже экспортированные в BigQuery, будут храниться в течение разрешенного срока хранения, и за хранение и запросы может взиматься плата. Чтобы предотвратить дальнейшее списание средств, вы можете вручную удалить наборы данных.

  • Если данные BigQuery хранятся в других сервисах, на них могут распространяться другие условия хранения.

Вы можете отменить связь с BigQuery на уровне проекта Firebase, на уровне товара или на уровне приложения для определенного продукта.

Как отменить связь с BigQuery

  1. В консоли Firebase перейдите на вкладку Настройки > Интеграции.

  2. На карточке BigQuery нажмите Управление.

  3. Вы можете отменить связь с определенным продуктом или с отдельными приложениями для определенного продукта.

    Чтобы полностью отменить связь с проектом Firebase, найдите кнопку внизу страницы.

  4. Когда появится запрос, подтвердите, что хотите остановить экспорт.


Что происходит после включения экспорта

  • Firebase экспортирует данные из приложений, связанных с BigQuery.

    • По умолчанию при настройке все приложения в проекте связываются с BigQuery, но вы можете отменить связь с определенными приложениями.

    • Все приложения, которые вы добавите в проект Firebase позже, будут автоматически связаны с BigQuery.

    • Вы можете в любое время указать, из каких приложений следует экспортировать данные.

  • Firebase экспортирует данные в набор данных, местоположение которого вы выбрали при настройке.

    • Это местоположение применяется как к набору данных Crashlytics, так и к набору данных сеансов Firebase (если экспорт данных о сеансах включен).

    • Это местоположение применяется только к данным, экспортированным в BigQuery, и не влияет на местоположение данных, хранящихся для использования на панели Crashlytics в консоли Firebase или в Android Studio.

    • После создания набора данных его местоположение изменить нельзя, но можно скопировать набор данных в другое место или вручную переместить (воссоздать) набор данных в другое местоположение. Подробнее о том, как изменить местоположение для существующих экспортированных данных…

  • Firebase настроит ежедневную синхронизацию пакетных данных с BigQuery.

    • После связывания с BigQuery экспорт первой партии данных может занять до 48 часов.

    • Ежедневная синхронизация выполняется один раз в день независимо от того, настроили ли вы запланированный экспорт в BigQuery. Обратите внимание, что время и продолжительность задания на синхронизацию могут меняться, поэтому мы не рекомендуем планировать последующие операции или задания на основе определенного времени экспорта.

  • Firebase экспортирует копию ваших существующих данных в BigQuery.

    • Для каждого связанного приложения экспорт включает пакетную таблицу с данными из ежедневной синхронизации.

    • Вы можете вручную запланировать заполнение данных для пакетной таблицы за последние 30 дней или за самую последнюю дату, когда вы включили экспорт в BigQuery (в зависимости от того, что произошло позже).

  • Если вы включите потоковый экспорт в BigQuery, Firebase будет выполнять следующие действия:

    • У каждого связанного приложения также будет собственная таблица с данными в реальном времени, которые постоянно обновляются (в дополнение к пакетной таблице приложения для ежедневного пакетного экспорта).

    • После включения потоковой передачи данных может пройти до часа, прежде чем данные начнут передаваться.


Преимущества потокового экспорта в BigQuery

По умолчанию данные экспортируются в BigQuery в рамках ежедневного пакетного экспорта. Кроме того, вы можете передавать данные Crashlytics и сеансы Firebase в режиме реального времени с помощью потоковой передачи BigQuery. Вы можете использовать потоковые данные для любых целей, требующих данных в реальном времени, например для показа информации на панели управления в реальном времени, отслеживания развертывания или мониторинга проблем с приложениями, которые вызывают оповещения и настраиваемые рабочие процессы.

При включении потокового экспорта в BigQuery вам также будут доступны таблицы в реальном времени (в дополнение к пакетным таблицам). Таблицы обоих типов имеют одинаковую схему набора данных, но между пакетными и таблицами в реальном времени есть важные различия:

Пакетная таблица Таблица в реальном времени
  • Данные экспортируются один раз в день.
  • События надежно сохраняются перед пакетной записью в BigQuery.
  • Данные можно заполнить за период до 30 дней*.
  • Данные экспортируются в реальном времени.
  • Заполнение недоступно.

Пакетная таблица идеально подходит для долгосрочного анализа и выявления тенденций, поскольку события надежно хранятся, прежде чем быть записанными, и их можно добавлять в таблицу в течение 30 дней*. Когда мы записываем данные в таблицу реального времени, они сразу же попадают в BigQuery, поэтому этот вариант идеально подходит для создания сводок в реальном времени и настраиваемых оповещений. Эти две таблицы можно объединить с помощью запроса на сшивку, чтобы получить преимущества обеих.

По умолчанию срок действия раздела таблицы реального времени составляет 30 дней. Чтобы узнать, как изменить этот параметр, ознакомьтесь с разделом Настройка срока действия раздела в документации BigQuery.

* Данные о резервных объявлениях можно экспортировать за последние 30 дней или за период с даты, когда вы включили экспорт в BigQuery (в зависимости от того, что произошло позже).


Цены и песочница BigQuery

Если для вашего проекта Firebase выбран бесплатный тарифный план Spark, вы можете использовать изолированную среду BigQuery, в которой можно бесплатно протестировать BigQuery. Информацию о тестовой среде BigQuery и ее возможностях можно найти в статье Как использовать тестовую среду BigQuery.

Если в вашем проекте Firebase используется тарифный план Blaze с оплатой по мере использования, вам доступны все функции BigQuery. Использование BigQuery регулируется ценами на BigQuery, которые предусматривают ограниченное бесплатное использование.


Что дальше?