Эта страница переведена с помощью Cloud Translation API.

Проверка данных A/B-тестирования с помощью BigQuery

Помимо просмотра данных экспериментов A/B Testing в консоли Firebase , вы можете просматривать и анализировать данные экспериментов в BigQuery . Хотя для A/B Testing нет отдельной таблицы BigQuery , данные об участии в экспериментах и вариантах хранятся в таблицах событий Google Analytics Analytics каждого события.

Пользовательские свойства, содержащие информацию об эксперименте, имеют вид userProperty.key like "firebase_exp_%" или userProperty.key = "firebase_exp_01" , где 01 — идентификатор эксперимента, а userProperty.value.string_value содержит индекс варианта эксперимента (начиная с нуля).

Вы можете использовать эти пользовательские свойства эксперимента для извлечения данных. Это даёт вам возможность анализировать результаты эксперимента различными способами и независимо проверять результаты A/B Testing .

Для начала выполните следующие действия, как описано в этом руководстве:

Включить экспорт BigQuery для Google Analytics в консоли Firebase
Доступ к данным A/B Testing с помощью BigQuery
Изучите примеры запросов

Включить экспорт BigQuery для Google Analytics в консоли Firebase

Если у вас тарифный план Spark, вы можете использовать песочницу BigQuery для бесплатного доступа BigQuery с учётом ограничений песочницы . Подробнее см. в разделе «Цены и песочница BigQuery .

Сначала убедитесь, что вы экспортируете данные Analytics в BigQuery :

Откройте вкладку «Интеграции» , доступ к которой можно получить, выбрав > «Настройки проекта» в консоли Firebase .
Если вы уже используете BigQuery с другими сервисами Firebase, нажмите «Управление» . В противном случае нажмите «Связать» .
Ознакомьтесь со статьей «О связывании Firebase с BigQuery , затем нажмите «Далее» .
В разделе «Настройка интеграции» включите переключатель Google Analytics .
Выберите регион и выберите настройки экспорта.
Примечание: Дополнительную информацию о настройках Google Analytics для Firebase см. в разделе Сбор данных .
Нажмите «Ссылка на BigQuery .

В зависимости от выбранного способа экспорта данных, таблицы могут стать доступными в течение суток. Подробнее об экспорте данных проекта в BigQuery см. в статье Экспорт данных проекта в BigQuery .

Доступ к данным A/B Testing в BigQuery

Прежде чем запрашивать данные для конкретного эксперимента, вам необходимо получить некоторые или все из следующих данных для использования в вашем запросе:

Идентификатор эксперимента: его можно получить из URL-адреса страницы обзора эксперимента . Например, если ваш URL-адрес выглядит как https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25 , идентификатор эксперимента — 25 .
Идентификатор ресурса Google Analytics : это ваш 9-значный идентификатор ресурса Google Analytics . Вы можете найти его в Google Analytics ; он также отображается в BigQuery , когда вы раскрываете название своего проекта, чтобы отобразить название таблицы событий Google Analytics ( project_name.analytics_000000000.events ).
Дата эксперимента: чтобы составить более быстрый и эффективный запрос, рекомендуется ограничить запросы разделами таблицы ежедневных событий Google Analytics , содержащими данные эксперимента — таблицами с суффиксом YYYYMMDD . Например, если ваш эксперимент проводился с 2 февраля 2024 года по 2 мая 2024 года, необходимо указать _TABLE_SUFFIX between '20240202' AND '20240502' . Пример см. в разделе Выбор значений для конкретного эксперимента .
Названия событий: как правило, они соответствуют целевым показателям , которые вы настроили в эксперименте. Например, события in_app_purchase , ad_impression или user_retention .

После того, как вы соберете необходимую информацию для формирования запроса:

Откройте BigQuery в консоли Google Cloud .
Выберите свой проект, затем нажмите Создать SQL-запрос .
Добавьте свой запрос. Примеры запросов для выполнения см. в разделе «Изучить примеры запросов» .
Нажмите кнопку Выполнить .

Запрос данных эксперимента с помощью автоматически сгенерированного запроса консоли Firebase

Если вы используете план Blaze, на странице обзора эксперимента представлен пример запроса, который возвращает название эксперимента, варианты, названия событий и количество событий для просматриваемого вами эксперимента.

Чтобы получить и запустить автоматически сгенерированный запрос:

В консоли Firebase откройте A/B Testing и выберите эксперимент A/B Testing вы хотите запросить, чтобы открыть обзор эксперимента .
В меню «Параметры» в разделе «Интеграция BigQuery выберите «Запрос данных эксперимента» . Это откроет ваш проект BigQuery в консоли Google Cloud и предоставит базовый запрос, который можно использовать для запроса данных эксперимента.

В следующем примере показан сгенерированный запрос для эксперимента с тремя вариантами (включая базовый) под названием «Зимний приветственный эксперимент». Он возвращает название активного эксперимента, название варианта, уникальное событие и количество событий для каждого события. Обратите внимание, что конструктор запросов не указывает название вашего проекта в названии таблицы, так как он открывается непосредственно в вашем проекте.

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

Для дополнительных примеров запросов перейдите в раздел «Изучение примеров запросов» .

Изучите примеры запросов

В следующих разделах приведены примеры запросов, которые можно использовать для извлечения данных эксперимента A/B Testing из таблиц событий Google Analytics .

Извлечь значения стандартного отклонения покупки и эксперимента из всех экспериментов

Вы можете использовать данные результатов эксперимента для независимой проверки результатов Firebase A/B Testing . Следующий SQL-оператор BigQuery извлекает варианты эксперимента, количество уникальных пользователей в каждом варианте и суммирует общий доход от событий in_app_purchase и ecommerce_purchase , а также стандартные отклонения для всех экспериментов в диапазоне времени, указанном в качестве дат начала и окончания _TABLE_SUFFIX . Вы можете использовать данные, полученные в результате этого запроса, с генератором статистической значимости для односторонних t-критериев, чтобы проверить, соответствуют ли результаты Firebase вашему собственному анализу.

Дополнительную информацию о том, как A/B Testing вычисляет вывод, см. в разделе Интерпретация результатов теста .

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

Выберите значения конкретного эксперимента

Следующий пример запроса иллюстрирует, как получить данные для конкретного эксперимента в BigQuery . Этот пример запроса возвращает название эксперимента, названия вариантов (включая базовый), названия событий и их количество.

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName