Google is committed to advancing racial equity for Black communities. See how.
Эта страница была переведа с помощью Cloud Translation API.
Switch to English

Создание экспериментов по обмену сообщениями с A / B-тестированием

Когда вы обращаетесь к своим пользователям или запускаете новую маркетинговую кампанию, вы хотите убедиться, что вы правильно поняли. A / B-тестирование может помочь вам найти оптимальную формулировку и презентацию, протестировав варианты сообщений на выбранных участках вашей пользовательской базы. Независимо от того, является ли ваша цель лучшим удержанием или преобразованием в предложении, A / B-тестирование может выполнить статистический анализ, чтобы определить, превосходит ли вариант сообщения контрольную группу для выбранной вами цели.

Чтобы проверить варианты функций A / B с контрольной группой, выполните следующие действия:

  1. Создайте свой эксперимент.
  2. Подтвердите свой эксперимент на тестовом устройстве.
  3. Управляйте своим экспериментом.

Создать эксперимент

Эксперимент с использованием компоновщика уведомлений позволяет оценить несколько вариантов в одном уведомлении.

  1. Войдите в Firebase, обновите настройки обмена данными и убедитесь, что обмен данными включен. Без обмена данными ваш эксперимент не будет иметь доступа к аналитическим данным.
  2. На панели навигации консоли Firebase разверните Grow и нажмите A / B Testing .
  3. Нажмите « Создать эксперимент» , а затем выберите «Уведомления» при запросе службы, с которой вы хотите поэкспериментировать.
  4. Введите имя и необязательное описание для своего эксперимента и нажмите « Далее» .
  5. Заполните поля таргетинга , сначала выбрав приложение, которое использует ваш эксперимент. Вы также можете настроить целевую группу своих пользователей для участия в эксперименте, выбрав один или несколько из следующих параметров:

    • Версия: одна или несколько версий вашего приложения
    • Пользовательская аудитория. Аналитические аудитории используются для таргетинга на пользователей, которые могут быть включены в эксперимент.
    • Свойство пользователя. Одно или несколько пользовательских свойств Google Analytics для выбора пользователей, которые могут быть включены в эксперимент.
    • Предсказание: группы пользователей с помощью машинного обучения предсказывают свое поведение
    • Страна / регион: одна или несколько стран или регионов для выбора пользователей, которые могут быть включены в эксперимент
    • Язык устройства: один или несколько языков и языков, используемых для выбора пользователей, которые могут быть включены в эксперимент.
  6. Установите процент целевых пользователей: введите процентную долю базы пользователей вашего приложения, соответствующую критериям, установленным в разделе « Целевые пользователи», которые вы хотите равномерно разделить между контрольной группой и одним или несколькими вариантами в вашем эксперименте. Это может быть любой процент от 0,01% до 100%. Проценты случайным образом назначаются пользователям для каждого эксперимента, включая дублированные эксперименты.

  7. В разделе Варианты введите сообщение для отправки в группу управления в текстовом поле Ввести сообщение . Чтобы не отправлять сообщения контрольной группе, оставьте это поле пустым.

  8. (необязательно) Чтобы добавить более одного варианта в свой эксперимент, нажмите Добавить вариант . По умолчанию эксперименты имеют одну контрольную группу и один вариант.

  9. (необязательно) Введите имя для каждого варианта в своем эксперименте, чтобы заменить имена Вариант A , Вариант B и т. д.

  10. Определите целевую метрику для вашего эксперимента, которая будет использоваться при оценке вариантов эксперимента, а также любые желаемые дополнительные метрики из раскрывающегося списка. Эти показатели включают встроенные цели (взаимодействие, покупки, доход, удержание и т. Д.), События конверсии Google Analytics и другие события Google Analytics.

  11. Выберите параметры для вашего сообщения:

    • Дата доставки. Выберите « Отправить сейчас», чтобы начать эксперимент сразу после сохранения, или « Запланировано», чтобы указать время запуска эксперимента в будущем.
    • Дополнительные параметры: чтобы выбрать дополнительные параметры для всех уведомлений, включенных в эксперимент, разверните Дополнительные параметры , а затем измените любой из перечисленных параметров сообщений.
  12. Нажмите « Обзор», чтобы сохранить эксперимент.

Вам разрешено до 100 экспериментов на проект, которые могут включать до 24 текущих экспериментов, а остальные - в виде черновика или завершены.

Подтвердите свой эксперимент на тестовом устройстве

С каждой установкой приложения Firebase связан токен идентификатора экземпляра (или регистрационный токен). Вы можете использовать этот токен для тестирования конкретных вариантов эксперимента на тестовом устройстве с установленным приложением. Чтобы подтвердить свой эксперимент на тестовом устройстве, сделайте следующее:

  1. Получите токен идентификатора экземпляра следующим образом:

    стриж

    InstanceID.instanceID().instanceID { (result, error) in
      if let error = error {
        print("Error fetching remote instance ID: \(error)")
      } else if let result = result {
        print("Remote instance ID token: \(result.token)")
        self.instanceIDTokenMessage.text  = "Remote InstanceID token: \(result.token)"
      }
    }
    

    Objective-C

    [[FIRInstanceID instanceID] instanceIDWithHandler:^(FIRInstanceIDResult * _Nullable result,
                                                        NSError * _Nullable error) {
      if (error != nil) {
        NSLog(@"Error fetching remote instance ID: %@", error);
      } else {
        NSLog(@"Remote instance ID token: %@", result.token);
        NSString* message =
          [NSString stringWithFormat:@"Remote InstanceID token: %@", result.token];
        self.instanceIDTokenMessage.text = message;
      }
    }];
    

    Ява

    FirebaseInstanceId.getInstance().getInstanceId()
            .addOnCompleteListener(new OnCompleteListener<InstanceIdResult>() {
                @Override
                public void onComplete(@NonNull Task<InstanceIdResult> task) {
                    Log.d("IID_TOKEN", task.getResult().getToken());
                }
            });

    Котлин + KTX

    FirebaseInstanceId.getInstance().instanceId
            .addOnSuccessListener { result ->
                Log.d("IID_TOKEN", result.token)
            }

    C ++

    firebase::InitResult init_result;
    auto* instance_id_object = firebase::instance_id::InstanceId::GetInstanceId(
        firebase::App::GetInstance(), &init_result);
    instance_id_object->GetToken().OnCompletion(
        [](const firebase::Future<std::string>& future) {
          if (future.status() == kFutureStatusComplete &&
              future.error() == firebase::instance_id::kErrorNone) {
            printf("Instance ID Token %s\n", future.result()->c_str());
          }
        });
    

    Единство

    Firebase.InstanceId.FirebaseInstanceId.DefaultInstance.GetTokenAsync().ContinueWith(
      task => {
        if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
          UnityEngine.Debug.Log(System.String.Format("Instance ID Token {0}", task.Result));
        }
      });
    
  2. На панели навигации консоли Firebase нажмите A / B Testing .
  3. Нажмите « Черновик» , затем нажмите название вашего эксперимента.
  4. Под заголовком Обзор эксперимента нажмите Детали .
  5. Нажмите Управление тестовыми устройствами , а затем введите токен идентификатора экземпляра для тестового устройства и выберите вариант эксперимента для отправки на это тестовое устройство.
  6. Запустите приложение и убедитесь, что выбранный вариант принимается на тестовом устройстве.

Чтобы узнать больше о токене идентификатора экземпляра, см. FIRInstanceID (iOS) или FirebaseInstanceId (Android).

Управляйте своим экспериментом

Независимо от того, создаете ли вы эксперимент с помощью Remote Config, компоновщика уведомлений или Firebase In-App Messaging, вы можете затем проверить и запустить эксперимент, отслеживать его во время его выполнения и увеличивать количество пользователей, включенных в ваш текущий эксперимент.

Когда ваш эксперимент завершен, вы можете принять к сведению настройки, использованные в выигрышном варианте, а затем развернуть эти настройки для всех пользователей. Или вы можете запустить другой эксперимент.

Начать эксперимент

  1. На панели навигации консоли Firebase разверните Grow и нажмите A / B Testing .
  2. Нажмите Черновик , а затем нажмите название вашего эксперимента.
  3. Чтобы убедиться, что в вашем приложении есть пользователи, которые будут включены в ваш эксперимент, проверьте число больше 0% в разделе Таргетинг и распространение (например, 1% пользователей, соответствующих критериям ).
  4. Чтобы изменить эксперимент, нажмите « Изменить» .
  5. Чтобы начать эксперимент, нажмите « Начать эксперимент» . Вы можете выполнить до 24 экспериментов на проект одновременно.

Контролировать эксперимент

После того, как эксперимент был запущен некоторое время, вы можете проверить его ход и посмотреть, как выглядят ваши результаты для пользователей, которые до сих пор участвовали в вашем эксперименте.

  1. На панели навигации консоли Firebase нажмите « Увеличить» , затем нажмите « A / B Testing» .
  2. Нажмите Запуск, а затем название вашего эксперимента. На этой странице вы можете просматривать различные статистические данные о текущем эксперименте, в том числе показатель цели и другие показатели. Для каждой метрики доступна следующая информация:

    • Улучшение : показатель улучшения показателя для данного варианта по сравнению с исходным уровнем (или контрольной группой). Рассчитывается путем сравнения диапазона значений для варианта с диапазоном значений для базовой линии.
    • Вероятность превышения базовой линии : предполагаемая вероятность того, что данный вариант превосходит базовую линию для выбранной метрики.
    • Вероятность быть лучшим вариантом : предполагаемая вероятность того, что данный вариант превосходит другие варианты для выбранной метрики.
    • Значение для пользователя : на основе результатов эксперимента это прогнозируемый диапазон, в который будет попадать значение показателя с течением времени.
    • Общее значение : наблюдаемое совокупное значение для контрольной группы или варианта. Это значение используется для измерения того, насколько хорошо работает каждый вариант эксперимента, и используется для расчета улучшения , диапазона значений , вероятности превышения базовой линии и вероятности быть наилучшим вариантом . В зависимости от измеряемой метрики этот столбец может быть помечен как «Продолжительность на пользователя», «Коэффициент удержания» или «Коэффициент конверсии».
  3. Чтобы увеличить число пользователей, включенных в ваш эксперимент, нажмите « Увеличить распределение» , а затем выберите увеличенный процент, чтобы добавить в свой эксперимент больше подходящих пользователей.

  4. Через некоторое время после эксперимента (не менее 24 часов) данные на этой странице указывают, какой вариант, если он есть, является «лидером». Некоторые измерения сопровождаются гистограммой, которая представляет данные в визуальном формате.

Разверните эксперимент для всех пользователей

После того, как эксперимент длится достаточно долго, и у вас есть «лидер» или выигрышный вариант для показателя цели, вы можете развернуть эксперимент для 100% пользователей. Это позволяет вам выбрать вариант для публикации всем пользователям, продвигающимся вперед. Даже если ваш эксперимент не принес явного победителя, вы все равно можете выбрать вариант для всех своих пользователей.

  1. На панели навигации консоли Firebase нажмите « Увеличить» , затем нажмите « A / B Testing» .
  2. Нажмите Завершено или Выполнено , выберите эксперимент, который вы хотите развернуть для всех пользователей, щелкните контекстное меню ( ), а затем нажмите вариант .
  3. Разверните свой эксперимент для всех пользователей, выполнив одно из следующих действий:

    • Для эксперимента, в котором используется композитор уведомлений, используйте диалоговое окно Развернуть сообщение, чтобы отправить сообщение оставшимся целевым пользователям, которые не были частью эксперимента.
    • Для эксперимента Remote Config используйте диалоговое окно, чтобы определить, какие значения параметров Remote Config нужно изменить для всех пользователей.
    • Для эксперимента с обменом сообщениями в приложении используйте диалоговое окно, чтобы определить, какой вариант необходимо развернуть в качестве отдельной кампании обмена сообщениями в приложении. После выбора вы будете перенаправлены на экран создания FIAM, чтобы внести какие-либо изменения (при необходимости) перед публикацией.

Расширить эксперимент

Если вы обнаружите, что эксперимент не привлекает достаточное количество пользователей для A / B-тестирования, чтобы объявить лидера, вы можете увеличить распределение своего эксперимента, чтобы достичь большего процента от пользовательской базы приложения.

  1. На панели навигации консоли Firebase нажмите « Увеличить» , затем нажмите « A / B Testing» .
  2. Нажмите Запуск, парить над экспериментом, нажмите контекстное меню ( ), а затем нажмите кнопку Увеличения распределения.
  3. Консоль отображает диалоговое окно с возможностью увеличения процента пользователей, которые участвуют в текущем эксперименте. Введите число, превышающее текущий процент, и нажмите « Отправить» . Эксперимент будет перенесен в процент пользователей, которых вы указали.

Дублируйте или остановите эксперимент

  1. На панели навигации консоли Firebase нажмите « Увеличить» , затем нажмите « A / B Testing» .
  2. Нажмите Завершено или Выполнено , наведите указатель мыши на эксперимент, щелкните контекстное меню ( ), а затем нажмите Дублировать или Остановить .

Ориентация на пользователя

Вы можете настроить таргетинг на пользователей, чтобы включить их в свой эксперимент, используя следующие критерии таргетинга пользователей.

Критерий таргетинга Оператор (ы) Ценности) Заметка
Версия содержит,
не содержит,
точно соответствует,
содержит регулярное выражение
Введите значение для одной или нескольких версий приложения, которые вы хотите включить в эксперимент.

При использовании любого из операторов « содержит» , « не содержит» или « точно соответствует» , вы можете предоставить список значений через запятую.

При использовании оператора содержит регулярное выражение , вы можете создавать регулярные выражения в формате RE2 . Ваше регулярное выражение может соответствовать всей или части строки целевой версии. Вы также можете использовать якоря ^ и $, чтобы соответствовать началу, концу или полноте целевой строки.

Пользовательская аудитория включает в себя все,
включает в себя по крайней мере один из
не включает в себя все,
не включает по крайней мере один из
Выберите одну или несколько аудиторий Google Analytics для таргетинга на пользователей, которые могут быть включены в ваш эксперимент.
Пользовательская собственность Для текста:
содержит,
не содержит,
точно соответствует,
содержит регулярное выражение

Для номеров:
<, ≤, =, ≥,>
Свойство пользователя Analytics используется для выбора пользователей, которые могут быть включены в эксперимент, с рядом параметров для выбора значений свойств пользователя.

На клиенте вы можете установить только строковые значения для пользовательских свойств. Для условий, использующих числовые операторы, служба Remote Config преобразует значение соответствующего пользовательского свойства в целое число / число с плавающей запятой.
При использовании оператора содержит регулярное выражение , вы можете создавать регулярные выражения в формате RE2 . Ваше регулярное выражение может соответствовать всей или части строки целевой версии. Вы также можете использовать якоря ^ и $, чтобы соответствовать началу, концу или полноте целевой строки.
прогнозирование N / A Целевые группы пользователей, определенные Firebase Predictions - например, те, кто может прекратить использование вашего приложения, или пользователи, которые могут совершить покупку в приложении. Выберите одно из значений, определенных инструментом Предсказания Firebase. Если какой-либо параметр недоступен, вам может потребоваться подписаться на «Предсказания Firebase», посетив раздел «Предсказания» консоли Firebase.
Страна устройства N / A Одна или несколько стран или регионов используются для выбора пользователей, которые могут быть включены в эксперимент.
Язык устройства N / A Один или несколько языков и локалей используются для выбора пользователей, которые могут быть включены в эксперимент. Этот критерий таргетинга доступен только для удаленной настройки.
Первый открытый больше, чем
меньше, чем
между
Ориентируйтесь на пользователей, основываясь на том, когда они впервые открывали ваше приложение, указав это в днях. Этот критерий таргетинга доступен только для Firebase In-App Messaging.
Последнее участие приложения больше, чем
меньше, чем
между
Таргетинг на пользователей основан на времени их последнего взаимодействия с вашим приложением, указанном в днях. Этот критерий таргетинга доступен только для Firebase In-App Messaging.

A / B Тестирование метрик

Когда вы создаете свой эксперимент, вы выбираете метрику, которая используется для сравнения вариантов эксперимента, и вы также можете выбрать другие метрики для отслеживания, чтобы помочь вам лучше понять каждый вариант эксперимента и обнаружить любые существенные побочные эффекты (например, сбои приложения). В следующих таблицах приведены сведения о том, как рассчитываются показатели цели и другие показатели.

Метрики цели

метрический Описание
Ежедневное взаимодействие с пользователем Среднее время, проведенное пользователем в приложении за день.
Удержание (1 день) Количество пользователей, которые возвращаются в ваше приложение ежедневно.
Удержание (2-3 дня) Количество пользователей, которые возвращаются в ваше приложение в течение 2-3 дней.
Удержание (4-7 дней) Количество пользователей, которые возвращаются в ваше приложение в течение 4-7 дней.
Удержание (8-14 дней) Количество пользователей, которые возвращаются в ваше приложение в течение 8-14 дней.
Удержание (15+ дней) Количество пользователей, которые возвращаются к вашему приложению через 15 или более дней после его последнего использования.
Уведомление открыто Отслеживает, открывает ли пользователь уведомление, отправленное композитором уведомлений.
Доход от покупки Комбинированное значение для всех ecommerce_purchase и in_app_purchase событий.
Предполагаемый доход от AdMob Предполагаемый доход от AdMob.
Предполагаемый общий доход Совокупная стоимость покупки и предполагаемые доходы AdMob.
first_open Событие Analytics, которое срабатывает, когда пользователь впервые открывает приложение после его установки или переустановки. Используется как часть конверсионной воронки.
notification_open Событие Analytics, которое срабатывает, когда пользователь открывает уведомление, отправленное составителем уведомлений. Используется как часть конверсионной воронки.

Другие показатели

метрический Описание
Пользователи без сбоев Процент пользователей, которые не столкнулись с ошибками в вашем приложении, которые были обнаружены Firebase Crashlytics SDK во время эксперимента.
notification_dismiss Событие Analytics, которое возникает, когда уведомление, отправляемое составителем уведомлений, отклоняется (только для Android).
notification_receive Событие Analytics, которое срабатывает при получении уведомления, отправленного составителем уведомлений, когда приложение находится в фоновом режиме (только для Android).
os_update Событие Analytics, которое отслеживает, когда операционная система устройства обновляется до новой версии. Для получения дополнительной информации см. Автоматически собираемые события .
screen_view Событие Analytics, которое отслеживает экраны, просматриваемые в вашем приложении. Чтобы узнать больше, см. Track Screenviews .
session_start Событие Analytics, которое считает пользовательские сеансы в вашем приложении. Чтобы узнать больше, смотрите Автоматически собранные события .
user_engagement Событие Analytics, которое периодически запускается, когда ваше приложение находится на переднем плане. Чтобы узнать больше, смотрите Автоматически собранные события .

Экспорт данных BigQuery

Вы можете получить доступ ко всем аналитическим данным, связанным с вашими A / B-тестами, в BigQuery . BigQuery позволяет анализировать данные с помощью BigQuery SQL, экспортировать их в другого облачного провайдера или использовать данные для пользовательских моделей ML. См. Ссылку BigQuery на Firebase для получения дополнительной информации.

Чтобы в полной мере использовать экспорт данных BigQuery, проекты Firebase должны принять тарифный план с оплатой по факту «Blaze». BigQuery взимает плату за хранение данных, потоковые вставки и запросы данных. Загрузка и экспорт данных бесплатны. Посмотрите Ценообразование BigQuery или песочницу BigQuery для получения дополнительной информации.

Для начала убедитесь, что ваш проект Firebase связан с BigQuery. Выберите « Настройки»> «Настройки проекта» на левой панели навигации, затем выберите « Интеграции»> «BigQuery»> «Ссылка» . На этой странице отображаются параметры для экспорта данных аналитики BiqQuery для всех приложений в проекте.

Чтобы запросить данные аналитики для эксперимента:

  1. Из списка активных экспериментов выберите нужный эксперимент, чтобы открыть страницу результатов эксперимента.
  2. В контекстном меню на обзорной панели Experiment выберите View in BigQuery (эта опция недоступна для проектов на бесплатном уровне).

    Это откроет компоновщик запросов консоли BigQuery с автоматически сгенерированным примером запроса экспериментальных данных, предварительно загруженных для вашего обзора. В этом запросе ваш эксперимент закодирован как пользовательское свойство с именем эксперимента в ключе и вариантом эксперимента в значении.

  3. В составителе запросов выберите Запустить запрос. Результаты отображаются на нижней панели.

Обратите внимание, что поскольку данные Firebase в BigQuery обновляются только один раз в день, данные, доступные на странице эксперимента, могут быть более свежими, чем данные, доступные в консоли BigQuery.