Экспорт данных мониторинга эффективности в BigQuery

Вы можете экспортировать данные Performance Monitoring из приложений для Apple и Android в BigQuery для дальнейшего анализа. BigQuery позволяет анализировать данные с помощью BigQuery SQL, экспортировать их другому поставщику облачных сервисов и даже использовать для собственных моделей ML.

Включить экспорт в BigQuery

1. В консоли Firebase перейдите на страницу Интеграции и на карточке BigQuery нажмите Связать.

2. Следуйте инструкциям на экране, чтобы включить BigQuery.

   Если вы включите экспорт данных BigQuery для Performance Monitoring, произойдет следующее:

   • Firebase экспортирует копию существующих данных в BigQuery. Первоначальная передача данных для экспорта может занять до 48 часов.

     • Вы можете вручную запланировать заполнение данными за последние 30 дней или за дату, когда вы включили экспорт в BigQuery (в зависимости от того, что было позже).

   • После создания набора данных местоположение изменить нельзя, но можно скопировать набор данных в другое место или вручную переместить (воссоздать) набор данных в другое местоположение. Подробнее о том, как изменить местоположение набора данных…

   • Firebase настраивает регулярную синхронизацию данных из проекта Firebase с BigQuery. Обычно ежедневный экспорт завершается в течение 24 часов после запланированного времени.

   • По умолчанию все приложения в проекте связаны с BigQuery. Все приложения, которые вы добавите в проект позже, будут автоматически связаны с BigQuery. Но вы можете указать, из каких приложений следует экспортировать данные.

Чтобы отключить экспорт в BigQuery, отмените связь с проектом в консоли Firebase.

Какие данные экспортируются в BigQuery?

Для каждого приложения в проекте создается таблица, в которую включаются все зарегистрированные события производительности. Каждая строка в таблице – это отдельное событие, связанное с производительностью. Оно может быть одного из следующих типов:

• Трассировка длительности. По умолчанию собирает данные о длительности запуска приложения, его работы в активном и фоновом режимах, а также о любых специальных трассировках кода, настроенных разработчиком.

  • event_type: DURATION_TRACE
  • event_name – это название трассировки.

• Показатель трассировки – специальный показатель, связанный с трассировкой специального кода, добавленного разработчиком.

  • event_type: TRACE_METRIC
  • event_name – название показателя;
  • parent_trace_name – название трассировки, содержащей этот показатель.

• Трассировка экрана – трассировки, охватывающие время существования экрана (трассировки отрисовки экрана).

  • event_type: SCREEN_TRACE
  • event_name – это префикс _st_ и название экрана.

• Сетевой запрос – трассировки, охватывающие время существования сетевого запроса (трассировки сетевых запросов HTTP).

  • event_type: NETWORK_REQUEST
  • event_name – шаблон URL сетевого запроса, отнесенный к определенной категории.

Каждое событие производительности содержит атрибуты (например, страну и оператора связи клиентского устройства), а также информацию, относящуюся к событию:

• Трассировки длительности, показатели трассировки и трассировки экрана содержат trace_info.
• Показатели трассировки содержат trace_info.metric_info
• Трассировки экрана содержат trace_info.screen_info
• Трассировки сети содержат network_info

Подробная схема данных

Что можно делать с экспортированными данными?

В разделах ниже приведены примеры запросов, которые можно выполнять в BigQuery к экспортированным данным Performance Monitoring.

Соответствие данным в консоли

На панели управления Firebase агрегируются данные за день в часовом поясе America/Los_Angeles. Чтобы данные совпадали с теми, что вы видите в консоли, в функциях даты нужно явно указать часовой пояс America/Los_Angeles. В противном случае по умолчанию будет использоваться UTC.

SELECT
  DATE(event_timestamp, 'America/Los_Angeles') AS daily_date,
  APPROX_QUANTILES(trace_info.duration_us, 100)[OFFSET(90)] / 1000000 AS p90_seconds,
FROM `TABLE_NAME`
WHERE
  DATE(event_timestamp, 'America/Los_Angeles')
    >= DATE_SUB( PARSE_DATE('%Y%m%d', 'YYYY-MM-DD'), INTERVAL 7 DAY)
  AND DATE(event_timestamp, 'America/Los_Angeles')
    <= PARSE_DATE('%Y%m%d', 'YYYY-MM-DD')
  AND event_name = '_app_start'
GROUP BY 1
ORDER BY 1 DESC;

Средняя задержка запуска приложения по странам

SELECT AVG(trace_info.duration_us), country
FROM `TABLE_NAME`
WHERE _PARTITIONTIME > TIMESTAMP("YYYY-MM-DD")
AND event_type = "DURATION_TRACE"
AND event_name = "_app_start"
GROUP BY 2;

Проверьте долю зависших кадров при различных условиях.

Например, вы можете проверить долю зависших кадров и время, которое пользователи проводят на каждом экране приложения при разных типах подключения (Wi-Fi, 4G и т. д.).

SELECT
  AVG(trace_info.duration_us / 1000000) AS seconds_on_screen,
  AVG(trace_info.screen_info.frozen_frame_ratio) AS frozen_frame_ratio,
  event_name,
  radio_type
FROM `TABLE_NAME`
WHERE _PARTITIONTIME > TIMESTAMP("YYYY-MM-DD")
AND event_type = "SCREEN_TRACE"
GROUP BY event_name, radio_type
ORDER BY event_name, radio_type;

Вычисление коэффициента попадания в кеш при загрузке определенных типов файлов с диска

В этом анализе предполагается, что вы добавили в код трассировку загрузки с диска с настраиваемым атрибутом file-extension и специальным показателем (TRACE_METRIC) cache-hit, который равен 1 при совпадении в кеше и 0, если совпадения нет.

Например, вы можете вычислить долю попаданий в кеш при загрузке PNG-файлов с диска:

SELECT AVG(trace_info.metric_info.metric_value) AS cache_hit_rate
FROM `TABLE_NAME`
WHERE _PARTITIONTIME > TIMESTAMP("YYYY-MM-DD")
AND event_type = "TRACE_METRIC"
AND event_name = "cache-hit"
AND parent_trace_name = "loadFromDisk"
AND STRUCT("file-extension", "png") IN UNNEST(custom_attributes);

Проверьте, в какое время суток пользователи отправляют сетевые запросы.

Например, вы можете узнать, в какое время суток пользователи из США отправляют сетевые запросы из вашего приложения:

SELECT
  count(1) AS hourly_count,
  EXTRACT(HOUR FROM event_timestamp) AS hour_of_day
FROM `TABLE_NAME`
WHERE _PARTITIONTIME > TIMESTAMP("YYYY-MM-DD")
AND event_type = "NETWORK_REQUEST"
AND country = "US"
GROUP BY 2 ORDER BY 2;

Ваши данные из сервиса "Performance Monitoring" всегда с вами

Иногда вам может потребоваться доступ к данным Performance Monitoring на стороне сервера или их передача в стороннее решение. В настоящее время плата за экспорт данных не взимается.

Вы можете экспортировать данные:

• Как использовать веб-интерфейс BigQuery

• Выполнение команды CLI bq extract

• Отправка задания на извлечение через API или клиентские библиотеки.

Цены

Экспорт данных из Performance Monitoring выполняется бесплатно, а в BigQuery действуют высокие лимиты на бесплатное использование. Подробную информацию можно найти в статьях Цены на BigQuery и Песочница BigQuery.