Firebase A/B Testing

Firebase A/B Testing позволяет оптимизировать приложения с помощью маркетинговых экспериментов. С помощью тестирования можно проверить, как изменения в интерфейсе, функциях или кампаниях по привлечению пользователей повлияют на ключевые показатели (например, доход и удержание).

A/B Testing работает с FCM, чтобы вы могли тестировать разные маркетинговые сообщения, и с Remote Config, чтобы вы могли тестировать изменения в приложении.


Готовы начать? Выберите продукт:

Создание экспериментов в Remote Config Как создавать эксперименты с сообщениями

Основные функции

Тестируйте и улучшайте свой продукт Создавайте эксперименты с помощью Remote Config, чтобы изменять поведение и внешний вид приложения в разных вариантах и проверять, какой из них наиболее эффективен для достижения нужных результатов.
Как повторно привлекать пользователей с помощью конструктора уведомлений Используйте A/B Testing, чтобы найти наиболее эффективные формулировки и настройки сообщений для привлечения пользователей в приложение.
Безопасный запуск новых функций Не выпускайте новую функцию, не убедившись сначала на небольшой группе пользователей, что она соответствует вашим целям. Когда вы будете уверены в результатах A/B Testing, разверните функцию для всех пользователей.
Целевые группы пользователей Проводите таргетированные A/B-тестирования, используя данные о пользователях приложения. Например, вы можете настроить таргетинг на пользователей, у которых установлена определенная версия приложения, платформа или язык, или на тех, кто соответствует значению Google Analytics свойства пользователя.

Принципы работы

При создании эксперимента вы можете создать несколько вариантов пользовательского интерфейса и проверить, насколько хорошо они помогают достичь поставленной цели, например увеличить количество покупок в приложении. Целевую группу пользователей можно определить по нескольким критериям, связанным логическим оператором "И". Например, можно ограничить группу пользователями определенной версии приложения, которые входят в аудиторию Analytics, например "Пользователи, у которых возникают сбои", и соответствуют специальному свойству пользователя Google Analytics, заданному клиентом.

Эксперименты A/B-тестирования проверяют действия Remote Config и обмена сообщениями, используя Google Аналитику для таргетинга на пользователей и измерения результатов.

Remote Config позволяет экспериментировать с изменениями одного или нескольких параметров, чтобы изменить поведение и внешний вид приложения. Вы можете использовать этот инструмент для незначительных изменений, например для подбора оптимальной цветовой схемы и расположения пунктов меню, или для более значительных изменений, например для тестирования совершенно новой функции или дизайна пользовательского интерфейса. С помощью конструктора уведомлений можно экспериментировать с текстом уведомлений.

Независимо от того, используете ли вы Remote Config или редактор уведомлений, вы можете отслеживать эксперимент, пока не определите лидера – вариант, который лучше всего соответствует вашей цели. Вы можете запустить эксперимент для небольшой группы пользователей, а затем масштабировать его. Если первый эксперимент не выявил вариант, который достигает вашей цели лучше, чем базовый, вы можете начать новый раунд экспериментов, чтобы найти лучший способ улучшить свое приложение.

Вы также можете отслеживать другие показатели (сбои приложения, удержание и доход) вместе с целью, чтобы лучше понимать результаты эксперимента и то, как он влияет на удобство использования приложения.

Путь реализации

Как добавить в приложение Remote Config или Firebase Cloud Messaging Если в вашем приложении уже используются теги Remote Config или Cloud Messaging (или оба), перейдите к следующему шагу.
Определите, какие варианты вы хотите проверить с помощью A/B-тестирования. Если вы можете управлять изменениями с помощью Remote Config, то с помощью A/B Testing можно тестировать несколько вариантов изменений, будь то незначительные изменения или добавление нового интерфейса или функции.

Вы также можете использовать A/B Testing с Компоновщиком уведомлений, чтобы протестировать несколько вариантов кампании для повторного привлечения, прежде чем запускать ее для всех пользователей.
Укажите, каким образом будет определяться успех. В эксперименте, в котором используется конструктор уведомлений, можно задать цель эксперимента с помощью события Analytics и сравнить варианты эксперимента. В эксперименте Remote Config можно задать цель с помощью события Analytics или воронки конверсии.
Следите за экспериментом и определите победивший вариант. Вы можете запустить эксперимент для небольшой группы пользователей, а затем масштабировать его, если начнете получать хорошие результаты. В ходе эксперимента вы сможете отслеживать, какие варианты приводят к сбоям в работе приложения или другим проблемам, а также какой вариант лучше всего помогает достичь цели.

Дальнейшие действия