A/B-тестирование Firebase

Firebase A/B-тестирование помогает оптимизировать работу с приложением, оптимизируя способы запуска, анализа и масштабирования продуктов и маркетинговых экспериментов. Это дает вам возможность тестировать изменения в пользовательском интерфейсе, функциях или кампаниях по вовлечению вашего приложения, чтобы увидеть, как они влияют на ваши ключевые показатели (например, доход и удержание), прежде чем вы начнете их широко развертывать.

A/B-тестирование работает с FCM, поэтому вы можете тестировать различные маркетинговые сообщения, а с Remote Config, чтобы вы могли тестировать изменения в своем приложении.

Создание экспериментов с удаленной конфигурацией Создание экспериментов с обменом сообщениями

Ключевые возможности

Тестируйте и улучшайте свой продукт Создавайте эксперименты с помощью Remote Config, чтобы вносить изменения в поведение и внешний вид вашего приложения во всех вариантах эксперимента и проверять, какой продукт наиболее эффективен для достижения наиболее важных для вас результатов.
Найдите способы повторно привлечь пользователей с помощью композитора уведомлений. Используйте A/B-тестирование, чтобы найти наиболее эффективные формулировки и настройки сообщений для привлечения пользователей в ваше приложение.
Безопасное внедрение новых функций Не внедряйте новую функцию, не убедившись сначала, что она соответствует вашим целям среди небольшой группы пользователей. Как только вы будете уверены в результатах своего A/B-тестирования, распространите эту функцию на всех своих пользователей.
Целевые группы пользователей Запускайте целевые A/B-тесты, используя данные о пользователях вашего приложения. Например, вы можете настроить таргетинг на подмножество пользователей, использующих определенную версию приложения, платформу, язык, или выбрать пользователей, которые соответствуют значению свойства пользователя Google Analytics.

Как это работает?

Создавая эксперимент, создайте несколько вариантов пользовательского опыта и измерьте, насколько хорошо эти варианты соответствуют цели, которую вы хотите достичь (например, увеличению количества покупок в приложении). Ваша целевая группа пользователей может быть определена по нескольким критериям, связанным логикой «И»; например, вы можете ограничить группу пользователями определенной версии приложения, которые принадлежат как к аудитории Analytics, так и к «сбойным пользователям», которые соответствуют настраиваемому свойству пользователя Google Analytics, установленному клиентом.

Эксперименты AB Testing проверяют действия Remote Config и обмена сообщениями с использованием Google Analytics для таргетинга пользователей и измерения результатов.

С помощью Remote Config вы можете экспериментировать с изменениями одного или нескольких параметров, чтобы изменить поведение и внешний вид вашего приложения. Вы можете использовать это для небольших изменений, таких как настройка лучшей цветовой схемы и расположения пунктов меню, или для более значительных изменений, таких как тестирование совершенно новой функции или дизайна пользовательского интерфейса. С помощью композитора уведомлений вы можете поэкспериментировать, чтобы найти правильную формулировку для уведомления.

Независимо от того, использует ли ваш эксперимент Remote Config или композитор уведомлений, вы можете отслеживать его, пока не определите лидера — вариант, который лучше всего достигает вашей цели. Вы можете начать эксперимент с небольшим процентом вашей пользовательской базы и со временем увеличивать этот процент. Если ваш первый эксперимент не выявил варианта, который достигает вашей цели лучше, чем базовый вариант, вы можете начать новый раунд экспериментов, чтобы найти лучший способ улучшить свое приложение.

Вы также можете отслеживать другие показатели (сбои приложения, удержание и доход) вместе со своей целью, чтобы лучше понять результат вашего эксперимента и то, как он повлияет на опыт использования вашего приложения.

Путь реализации

Добавьте Remote Config или Firebase Cloud Messaging в свое приложение. Если ваше приложение уже использует Remote Config или Cloud Messaging (или оба), вы можете перейти к следующему шагу.
Определите варианты, которые вы хотите оценить с помощью A/B-теста. Независимо от того, является ли ваше изменение незначительным или добавлением нового пользовательского интерфейса или функции, если вы можете контролировать это изменение с помощью Remote Config, вы можете протестировать несколько вариантов этого изменения с помощью A/B-тестирования.

Вы также можете использовать A/B-тестирование с помощью композитора уведомлений, чтобы протестировать несколько вариантов вашей кампании повторного вовлечения, прежде чем развернуть ее для всех пользователей.
Определите, как вы будете измерять успех В эксперименте, в котором используется композитор уведомлений, вы можете использовать событие Analytics, чтобы определить цель эксперимента и сравнить варианты эксперимента. В эксперименте Remote Config вы можете использовать либо событие Analytics, либо воронку конверсии, чтобы определить цель эксперимента.
Следите за своим экспериментом, чтобы найти выигрышный вариант Вы можете начать эксперимент с несколькими пользователями, а затем распространить его на большее количество пользователей, если первые результаты будут хорошими. Наблюдая за своим экспериментом, вы увидите, вызывают ли некоторые варианты больше сбоев приложения или иное влияние на работу приложения, а также сможете увидеть, какой вариант обеспечивает наибольший прогресс в достижении вашей цели.

Следующие шаги