A/B-тестирование Firebase

Firebase A/B Testing на базе Google Optimize помогает оптимизировать взаимодействие с приложением, упрощая запуск, анализ и масштабирование продуктовых и маркетинговых экспериментов. Это дает вам возможность протестировать изменения в пользовательском интерфейсе вашего приложения, функциях или кампаниях взаимодействия, чтобы увидеть, действительно ли они влияют на ваши ключевые показатели (такие как доход и удержание), прежде чем вы начнете широко их внедрять.

A/B-тестирование работает с FCM, чтобы вы могли тестировать различные маркетинговые сообщения, и с Remote Config, чтобы вы могли тестировать изменения в своем приложении.

Создание экспериментов Remote Config Создание экспериментов по обмену сообщениями

Ключевые возможности

Тестируйте и улучшайте свой продукт Создавайте эксперименты с помощью Remote Config, чтобы вносить изменения в поведение и внешний вид вашего приложения в различных вариантах эксперимента, и проверяйте, какой продукт наиболее эффективен для получения наиболее важных для вас результатов.
Найдите способы повторно привлечь пользователей с помощью компоновщика уведомлений. Используйте A/B-тестирование, чтобы найти наиболее эффективные настройки формулировок и обмена сообщениями для привлечения пользователей в ваше приложение.
Безопасное развертывание новых функций Не внедряйте новую функцию, не убедившись, что она соответствует вашим целям с меньшим количеством пользователей. Как только вы будете уверены в результатах A/B-тестирования, разверните эту функцию для всех своих пользователей.
Целевые группы пользователей с данными Google Analytics Проведите A/B-тестирование клиентов, на которых вы ориентируетесь, используя данные Google Analytics. Например, вы можете настроить таргетинг на подмножество пользователей, использующих определенную версию приложения, платформу, язык и демографические данные, которые соответствуют определенному свойству пользователя Google Analytics .

Как это работает?

Когда вы создаете эксперимент, вы тестируете один или несколько вариантов тестируемого действия и измеряете, насколько хорошо эти варианты эффективны для достижения цели, которую вы хотите достичь (например, увеличить количество покупок в приложении). Ваша целевая группа пользователей может быть определена несколькими критериями, связанными логикой «И»; например, вы можете ограничить группу пользователями определенной версии приложения, которые принадлежат как к аудитории Google Analytics, так и к «пользователям, у которых произошел сбой», которые соответствуют пользовательскому свойству пользователя Google Analytics, заданному клиентом.

В экспериментах AB Testing проверяются Remote Config и действия по обмену сообщениями с использованием Google Analytics для таргетинга пользователей и оценки результатов.

С помощью Remote Config вы можете экспериментировать с изменениями нескольких параметров в нескольких вариантах, чтобы изменить поведение и внешний вид вашего приложения различными способами в каждой группе вариантов. Вы можете использовать это для незначительных изменений, таких как настройка лучшей цветовой схемы и расположения пунктов меню, или для значительных изменений, таких как тестирование совершенно новой функции или дизайна пользовательского интерфейса. С компоновщиком уведомлений вы можете поэкспериментировать, чтобы найти правильную формулировку для сообщения уведомления.

Независимо от того, использует ли ваш эксперимент Remote Config или компоновщик уведомлений, вы можете отслеживать свой эксперимент, пока не получите допустимый набор результатов, а затем определите лидер — вариант, который лучше всего соответствует вашей цели. Вы можете начать свой эксперимент с небольшим процентом вашей пользовательской базы, а затем увеличивать этот процент с течением времени. Если ваш первый эксперимент не выявил вариант, который достигает вашей цели лучше, чем ваше приложение в настоящее время, вы можете начать новый раунд экспериментов, чтобы найти лучший способ улучшить свое приложение.

Вы также можете отслеживать другие показатели (сбои приложения, удержание и вовлеченность) вместе с вашей целью, чтобы вы могли лучше понять результат своего эксперимента и то, как он влияет на опыт использования вашего приложения.

Путь реализации

Добавьте Remote Config или Firebase Cloud Messaging в свое приложение. Если ваше приложение уже использует Remote Config или Cloud Messaging (или оба), вы можете перейти к следующему шагу.
Определите варианты, которые вы хотите оценить с помощью теста A/B. Независимо от того, является ли ваше изменение незначительным или добавлением нового пользовательского интерфейса или функции, если вы можете контролировать это изменение с помощью Remote Config, вы можете протестировать несколько вариантов этого изменения с помощью A/B-тестирования.

Вы также можете использовать A/B-тестирование с компоновщиком уведомлений, чтобы протестировать несколько вариантов вашей кампании повторного вовлечения, прежде чем развернуть ее для всех пользователей.
Определите, как вы будете измерять успех В эксперименте, использующем компоновщик уведомлений, вы можете использовать событие Analytics, чтобы определить цель своего эксперимента и сравнить варианты эксперимента. В эксперименте Remote Config вы можете использовать либо событие Analytics, либо воронку конверсии, чтобы определить цель вашего эксперимента.
Следите за своим экспериментом, чтобы найти выигрышный вариант. Вы можете начать свой эксперимент с несколькими пользователями, а затем развернуть его для большего количества пользователей, если первые результаты будут хорошими. Наблюдая за своим экспериментом, вы увидите, вызывают ли некоторые варианты больше сбоев приложения или другие воздействия на его работу, а также сможете увидеть, какой вариант обеспечивает наибольший прогресс в достижении вашей цели.

Следующие шаги