Catch up on everthing we announced at this year's Firebase Summit. Learn more

Тестирование Firebase A / B

Работает на Google Оптимизировать , Firebase A / B тестирование поможет вам оптимизировать свой опыт приложения, делая его легко работать, анализировать, и масштаб продукта и маркетинговые эксперименты. Это дает вам возможность протестировать изменения в пользовательском интерфейсе вашего приложения, функциях или кампаниях по вовлечению, чтобы увидеть, действительно ли они влияют на ваши ключевые показатели (например, доход и удержание), прежде чем вы начнете их широко внедрять.

A / B-тестирование работает с FCM, чтобы вы могли тестировать различные маркетинговые сообщения, и с Remote Config, чтобы вы могли тестировать изменения в своем приложении.

Создание удаленных экспериментов Config Создание сообщений Для экспериментов

Ключевые возможности

Тестируйте и улучшайте свой продукт Создавайте эксперименты с помощью Remote Config, чтобы вносить изменения в поведение и внешний вид вашего приложения в различных вариантах эксперимента и проверять, какой продукт наиболее эффективен для достижения наиболее важных для вас результатов.
Найдите способы повторно привлечь пользователей с помощью композитора уведомлений Используйте A / B-тестирование, чтобы найти наиболее эффективные настройки формулировок и сообщений для привлечения пользователей в ваше приложение.
Безопасное развертывание новых функций Не запускайте новую функцию, не убедившись, что она соответствует вашим целям с меньшим количеством пользователей. Как только вы будете уверены в своих результатах A / B-тестирования, разверните эту функцию для всех своих пользователей.
Таргетинг на "прогнозируемые" группы пользователей С помощью Firebase Predictions вы можете запускать A / B-тесты для пользователей, которые, как ожидается, совершат определенное действие, будь то потратить деньги (или нет), прекратить работу вашего приложения или выполнить любое другое событие конверсии, которое вы определили с помощью Analytics. .

Как это работает?

Когда вы создаете эксперимент, вы тестируете один или несколько вариантов тестируемого действия и измеряете, насколько хорошо эти варианты соответствуют цели, которую вы хотите достичь (например, увеличению покупок в приложении). Ваша целевая группа пользователей может быть определена несколькими критериями, объединенными логикой «И»; например, вы можете ограничить группу пользователями определенной версии приложения, которые принадлежат как к аудитории Analytics, такой как «пользователи с ошибками», так и к группе, автоматически созданной Firebase Predictions на основе ее вероятности оттока.

С помощью Remote Config вы можете экспериментировать с изменениями нескольких параметров в нескольких вариантах, чтобы изменять поведение и внешний вид вашего приложения различными способами в каждой группе вариантов. Вы можете использовать это для тонких изменений, таких как настройка лучшей цветовой схемы и расположения пунктов меню, или для значительных изменений, таких как тестирование совершенно новой функции или дизайна пользовательского интерфейса. С помощью композитора уведомлений вы можете поэкспериментировать, чтобы найти правильную формулировку сообщения уведомления.

Если ваш эксперимент использует Remote Config или Уведомления композитора, вы можете контролировать свой эксперимент до тех пор , пока у вас есть правильный набор результатов, а затем определить лидер, тот вариант , который лучше всего завершал свою цель. Вы можете начать свой эксперимент с небольшим процентом своей пользовательской базы, а затем со временем увеличивать этот процент. Если ваш первый эксперимент не выявил варианта, который достигает вашей цели лучше, чем ваше приложение в настоящее время, вы можете начать новый раунд экспериментов, чтобы найти лучший способ улучшить ваше приложение.

Вы также можете отслеживать другие показатели (сбои приложения, удержание и вовлеченность) вместе с вашей целью, чтобы вы могли лучше понять результат вашего эксперимента и то, как он влияет на опыт использования вашего приложения.

Путь реализации

Добавьте Remote Config или Firebase Cloud Messaging в свое приложение Если ваше приложение уже использует Remote Config или Cloud Messaging (или оба), вы можете перейти к следующему шагу.
Определите варианты, которые вы хотите оценить с помощью A / B-теста. Независимо от того, является ли ваше изменение незаметным или добавлением нового пользовательского интерфейса или функции, если вы можете управлять этим изменением с помощью Remote Config, вы можете протестировать несколько вариантов этого изменения с помощью A / B-тестирования.

Вы также можете использовать A / B-тестирование с композитором уведомлений, чтобы протестировать несколько вариантов вашей кампании повторного вовлечения, прежде чем развертывать ее для всех пользователей.
Определите, как вы будете измерять успех В эксперименте, в котором используется составитель уведомлений, вы можете использовать событие Analytics, чтобы определить цель эксперимента и сравнить варианты эксперимента. В эксперименте Remote Config вы можете использовать событие Analytics или последовательность конверсии для определения цели вашего эксперимента.
Наблюдайте за своим экспериментом, чтобы найти вариант-победитель Вы можете начать свой эксперимент с несколькими пользователями, а затем развернуть его для большего числа пользователей, если первые результаты будут хорошими. Наблюдая за своим экспериментом, вы увидите, вызывают ли некоторые варианты больше сбоев приложения или другие воздействия на работу приложения, а также вы можете увидеть, какой вариант наиболее успешно приближается к вашей цели.

Следующие шаги