Вы можете экспортировать данные из Firebase Crashlytics в BigQuery . После того, как данные окажутся в BigQuery , вы сможете анализировать их с помощью SQL-запросов , создавать визуализации данных и пользовательские панели мониторинга , а также экспортировать данные в другие сервисы .
На этой странице описано, как настроить экспорт данных о сессиях Crashlytics и (при необходимости) Firebase в BigQuery .
Настройте экспорт в BigQuery
В консоли Firebase перейдите на страницу «Интеграции» .
В карточке BigQuery нажмите «Ссылка» .
Следуйте инструкциям на экране, чтобы настроить экспорт в BigQuery , включая следующие параметры:
Для улучшения понимания того, как работают пользователи и сессии без сбоев, включите экспорт данных сессий Firebase .
Чтобы получить доступ к данным Crashlytics и данным сессий Firebase в BigQuery практически в режиме реального времени, включите потоковый экспорт .
Эту опцию также можно включить во время первоначальной настройки экспорта в BigQuery .
В консоли Firebase перейдите на страницу «Интеграции» .
В карточке BigQuery нажмите «Управление» .
Установите флажок «Включить сессии» .
Это действие позволяет экспортировать данные сессии для всех связанных приложений. Если у вас включен потоковый экспорт, экспорт данных сессии также начнется в режиме реального времени.
Подробнее о преимуществах потокового экспорта в BigQuery вы узнаете далее на этой странице.
Эту опцию также можно включить во время первоначальной настройки экспорта в BigQuery .
В консоли Firebase перейдите на страницу «Интеграции» .
В карточке BigQuery нажмите «Управление» .
Установите флажок «Включить потоковую передачу» .
Это действие включает потоковую передачу данных для всех связанных приложений. Если у вас включен экспорт сессий Firebase, это также включит потоковый экспорт данных сессий.
Отключить от BigQuery
Отключение от BigQuery приводит к тому, что соответствующие наборы данных в BigQuery перестают заполняться.
Обратите внимание на следующее:
Все данные, уже экспортированные в BigQuery , будут храниться в течение разрешенного срока хранения, и за хранение и запросы может взиматься дополнительная плата. Вы можете удалить свои наборы данных вручную, чтобы предотвратить дальнейшее выставление счетов.
Если ваши данные BigQuery хранятся в других сервисах, то условия сохранения этих данных могут отличаться.
Отменить привязку к BigQuery можно на уровне проекта Firebase, на уровне продукта или на уровне приложения для конкретного продукта.
Вот как отвязать свой аккаунт от BigQuery :
В консоли Firebase перейдите на страницу «Интеграции» .
В карточке BigQuery нажмите «Управление» .
Выберите, хотите ли вы отвязать конкретный продукт или отвязать конкретные приложения для конкретного продукта.
Чтобы полностью отвязать свой проект Firebase, найдите кнопку внизу страницы.
При появлении запроса подтвердите, что хотите остановить экспорт.
Что произойдет, если включить экспорт?
Firebase экспортирует данные из приложений, связанных с BigQuery .
В процессе настройки по умолчанию все приложения в вашем проекте подключаются к BigQuery , но вы можете выбрать, какие приложения не подключаться к BigQuery.
Любые приложения, которые вы впоследствии добавите в свой проект Firebase, автоматически будут связаны с BigQuery .
В любой момент вы можете управлять тем, какие приложения экспортируют данные .
Firebase экспортирует данные в выбранное вами местоположение набора данных во время настройки.
Это относится как к набору данных Crashlytics , так и к набору данных сессий Firebase (если экспорт данных о сессиях включен).
Это местоположение применимо только к данным, экспортированным в BigQuery , и не влияет на местоположение данных, хранящихся для использования на панели Crashlytics в консоли Firebase или в Android Studio.
После создания набора данных его местоположение изменить нельзя, но вы можете скопировать набор данных в другое место или вручную переместить (создать заново) его в другом месте. Для получения дополнительной информации см. раздел «Изменение местоположения существующих экспортов» .
Firebase настраивает ежедневную синхронизацию ваших пакетных данных с BigQuery .
После подключения к BigQuery первоначальный пакетный экспорт данных может занять до 48 часов.
Ежедневная синхронизация происходит один раз в день, независимо от запланированных экспортов, которые вы могли настроить в BigQuery . Обратите внимание, что время и продолжительность синхронизации могут меняться, поэтому мы не рекомендуем планировать последующие операции или задания, основываясь на конкретном времени экспорта.
Firebase экспортирует копию ваших существующих данных в BigQuery .
Для каждого связанного приложения этот экспорт включает в себя пакетную таблицу, содержащую данные из ежедневной синхронизации.
Вы можете вручную запланировать заполнение данных в пакетной таблице за последние 30 дней или за самую последнюю дату, когда вы включили экспорт в BigQuery (в зависимости от того, какая дата является самой последней).
Обратите внимание, что если вы включили экспорт данных Crashlytics до середины октября 2024 года, вы также можете заполнить данные за 30 дней до дня включения экспорта.
При включении потокового экспорта в BigQuery Firebase выполняет следующие действия.
Каждое связанное приложение также будет иметь собственную таблицу в реальном времени, содержащую постоянно обновляемые данные (в дополнение к таблице пакетной обработки данных приложения для ежедневного пакетного экспорта).
После включения потоковой передачи данных может потребоваться до 1 часа, прежде чем начнется потоковая передача данных.
Убедитесь, что вы отправили в Crashlytics как минимум два события из своего приложения и подождали пару минут после отправки.
Убедитесь, что ваш проект Firebase использует тарифный план Blaze с оплатой по мере использования.
Это можно проверить, посмотрев в левом нижнем углу консоли Firebase .Если после отправки двух событий и ожидания в течение нескольких минут в вашей таблице данных в режиме реального времени по-прежнему отсутствуют данные:
Перейдите к карточке BigQuery в консоли Firebase .
Отключите, а затем снова включите экспорт потокового видео.
Убедитесь, что учетная запись службы
service- PROJECT_NUMBER @gcp-sa-crashlytics.iam.gserviceaccount.comнаходится в вашем проекте Firebase и имеет роль Firebase Crashlytics Service Agent .
Это можно проверить на странице IAM в консоли Google Cloud (убедитесь, что установлен флажок «Включить предоставленные Google права доступа к ролям »).Отправьте в Crashlytics как минимум два события и подождите пару минут.
Если данные в вашей таблице в режиме реального времени по-прежнему не отображаются, обратитесь в службу поддержки Firebase .
Преимущества экспорта потоковых данных в BigQuery
По умолчанию данные экспортируются в BigQuery в виде ежедневного пакетного экспорта. Кроме того, вы можете передавать данные Crashlytics и сессии Firebase в режиме реального времени с помощью потоковой передачи BigQuery . Вы можете использовать потоковые данные для любых целей, требующих данных в реальном времени, например, для отображения информации на панели мониторинга в реальном времени, наблюдения за развертыванием в режиме реального времени или мониторинга проблем в приложениях, которые запускают оповещения и пользовательские рабочие процессы.
При включении потокового экспорта в BigQuery у вас также появятся таблицы реального времени (в дополнение к пакетным таблицам). Оба типа таблиц будут иметь одинаковую схему набора данных , но вот некоторые важные различия между пакетными таблицами и таблицами реального времени:
| Таблица партий | Таблица в реальном времени |
|---|---|
|
|
Пакетная таблица идеально подходит для долгосрочного анализа и выявления тенденций во времени, поскольку мы надежно храним события до их записи, и данные могут быть добавлены в таблицу за период до 30 дней*. Когда мы записываем данные в вашу таблицу реального времени, мы немедленно записываем их в BigQuery , поэтому она идеально подходит для интерактивных панелей мониторинга и пользовательских оповещений. Эти две таблицы можно объединить с помощью запроса на объединение данных, чтобы получить преимущества обеих.
По умолчанию для таблиц реального времени установлен срок истечения действия разделов в 30 дней. Чтобы узнать, как изменить это значение, см. раздел «Установка срока истечения действия разделов» в документации BigQuery .
* Подробности о поддержке заполнения резервных копий см. в разделе «Обновление до новой экспортной инфраструктуры» .
Цены и песочница BigQuery
Если ваш проект Firebase использует бесплатный тарифный план Spark, вы можете использовать песочницу BigQuery , которая предоставляет бесплатный доступ к BigQuery . Для получения информации о песочнице BigQuery и ее возможностях см. раздел «Использование песочницы BigQuery .
Если ваш проект Firebase использует тарифный план Blaze с оплатой по мере использования, вы можете использовать все функции BigQuery . Использование BigQuery регулируется тарифами BigQuery , которые включают ограниченное бесплатное использование.
Обновите инфраструктуру экспорта для BigQuery до новой версии.
В середине октября 2024 года Crashlytics запустила новую инфраструктуру для пакетного экспорта данных Crashlytics в BigQuery .
Если вы включили пакетный экспорт после октября 2024 года , то ваш проект Firebase автоматически использует новую инфраструктуру экспорта. Никаких действий не требуется.
Если вы включили пакетный экспорт до или во время октября 2024 года , ознакомьтесь с информацией в разделе «Как перейти на новую инфраструктуру экспорта для BigQuery?», чтобы определить, нужно ли вам предпринимать какие-либо действия.
Что дальше?
Ознакомьтесь с примерами SQL-запросов .
Создавайте пользовательские панели мониторинга, используя экспортированные данные и различные сервисы Google Cloud , такие как Looker Studio .
Узнайте о схеме набора данных для экспортируемых данных .