Firebase A/B Testing

Firebase A/B Testing позволяет оптимизировать приложения с помощью маркетинговых экспериментов. С помощью тестирования можно проверить, как изменения в интерфейсе, функциях или кампаниях по привлечению пользователей повлияют на ключевые показатели (например, доход и удержание).

A/B Testing работает с FCM, чтобы вы могли тестировать разные маркетинговые сообщения, и с Remote Config, чтобы вы могли тестировать изменения в приложении.


Готовы начать? Выберите продукт:

Создание Remote Config экспериментов Создание экспериментов с сообщениями

Основные функции

Как тестировать и улучшать удобство использования продукта Создавайте эксперименты с помощью Remote Config, чтобы изменять поведение и внешний вид приложения в разных вариантах эксперимента и проверять, какой вариант продукта наиболее эффективен для достижения нужных вам результатов.
Как повторно привлекать пользователей с помощью конструктора уведомлений Используйте A/B Testing, чтобы найти наиболее эффективные формулировки и настройки сообщений для привлечения пользователей в приложение.
Безопасный запуск новых функций Не выпускайте новую функцию, не убедившись сначала на небольшой группе пользователей, что она соответствует вашим целям. Когда вы будете уверены в результатах A/B Testing, разверните функцию для всех пользователей.
Как настроить таргетинг на группы пользователей Проводите целевое A/B-тестирование, используя данные о пользователях приложения. Например, вы можете настроить таргетинг на пользователей, у которых установлена определенная версия приложения, платформа или язык, или на тех, кто соответствует значению Google Analytics свойства пользователя.

Принципы работы

При создании эксперимента вы можете создать несколько вариантов пользовательского интерфейса и проверить, насколько хорошо они помогают достичь поставленной цели, например увеличить количество покупок в приложении. Целевую группу пользователей можно определить по нескольким критериям, связанным логическим оператором "И". Например, можно ограничить группу пользователями определенной версии приложения, которые входят в аудиторию Analytics, например "Пользователи, у которых возникают сбои", и соответствуют специальному свойству пользователя Google Analytics, заданному клиентом.

Эксперименты A/B-тестирования позволяют тестировать Remote Config и действия с сообщениями, используя Google Аналитику для таргетинга на пользователей и оценки результатов.

С помощью Remote Config можно экспериментировать с изменениями одного или нескольких параметров, чтобы изменить поведение и внешний вид приложения. Это можно использовать для незначительных изменений, например для подбора цветовой схемы и расположения пунктов меню, или для более значительных изменений, таких как тестирование совершенно новой функции или дизайна интерфейса. С помощью конструктора уведомлений можно экспериментировать с текстом уведомлений.

Независимо от того, используете ли вы Remote Config или редактор уведомлений, вы можете отслеживать эксперимент, пока не определите лидера – вариант, который лучше всего соответствует вашей цели. Вы можете запустить эксперимент для небольшой группы пользователей, а затем масштабировать его. Если первый эксперимент не выявит вариант, который лучше базового помогает достигать цели, вы можете начать новый эксперимент, чтобы найти лучший способ улучшить приложение.

Вы также можете отслеживать другие показатели (сбои приложения, удержание и доход) вместе с целью, чтобы лучше понимать результаты эксперимента и то, как он влияет на удобство использования приложения.

Путь реализации

Как добавить в приложение Remote Config или Firebase Cloud Messaging Если в вашем приложении уже используются теги Remote Config или Cloud Messaging (или оба), перейдите к следующему шагу.
Определите, какие варианты вы хотите проверить с помощью A/B-тестирования. Если вы можете управлять изменениями с помощью Remote Config, то с помощью A/B Testing можно тестировать несколько вариантов изменений, будь то незначительные изменения или добавление нового интерфейса или функции.

Вы также можете использовать A/B Testing с конструктором уведомлений, чтобы протестировать несколько вариантов кампании для повторного привлечения, прежде чем запускать ее для всех пользователей.
Укажите, каким образом будет определяться успех. В эксперименте, в котором используется конструктор уведомлений, можно задать цель эксперимента с помощью события Analytics и сравнить варианты эксперимента. В эксперименте Remote Config можно задать цель с помощью события Analytics или воронки конверсии.
Следите за экспериментом и определите победивший вариант Вы можете запустить эксперимент для небольшой группы пользователей, а затем масштабировать его, если начнете получать хорошие результаты. В ходе эксперимента вы сможете отслеживать, какие варианты приводят к сбоям в работе приложения или другим проблемам, а также какой вариант лучше всего помогает достичь цели.

Дальнейшие действия