В этом руководстве представлена информация о ключевых понятиях, связанных с развертыванием Remote Config, чтобы вы могли:
- Узнайте, как работает членство в группах развертывания.
- Знайте, когда использовать внедрение, а когда — A/B-тест.
- Узнайте, как интерпретировать результаты внедрения.
Общие сведения о членстве в группах внедрения
Когда вы создаете новое внедрение и назначаете процент, Firebase помещает часть вашей аудитории одинакового размера в контрольную группу для получения точных результатов при сравнении производительности включенной функции, в результате чего образуются следующие группы.
- Включено : пользовательские устройства, назначенные в эту группу, получают значение, которое вы настроили при развертывании.
- Управление : пользовательские устройства, назначенные в эту группу, получают значение, которое они в противном случае получили бы от Remote Config, а не значение развертывания.
- Неназначено: пользовательские устройства в этой группе получают значение, которое они в противном случае получили бы от Remote Config, но не используются в результатах сравнения развертываний.
То есть, если вы развернете 2% ваших пользователей, они будут добавлены в группу «Включено», а еще 2% ваших пользователей будут добавлены в группу «Контроль», которая используется для сравнения. 96 % ваших пользователей остаются в статусе "Не назначено".
Такой подход обеспечивает справедливое сравнение производительности пользователей и устройств, получивших вашу ценность развертывания, и тех, которые этого не делают, и позволяет эффективно определять успех или неудачу развертывания на странице «Результаты развертывания» .
Назначение группы развертывания единообразно на всех этапах развертывания. То есть в рамках того же развертывания, если вы уменьшите процент до 0%, все пользователи вернутся к получению значения параметра, определенного в шаблоне Remote Config. Если позже вы решите увеличить процент развертывания, пользователи, которые были частью предыдущих групп «Включено» или «Управление», вернутся в группу, которую им изначально назначили, и получат значения, соответствующие этим группам.
Когда вы убедитесь, что ваш выпуск успешен, и решите полностью запустить его для 100 % целевых пользователей, Firebase больше не использует контрольную группу, и все целевые пользователи и устройства получают значение развертывания.
Когда использовать внедрение вместо A/B-тестирования?
Развертывание удаленной настройки и A/B-тестирование подходят для несколько разных случаев использования и могут использоваться дополняюще.
Развертывания представляют собой постепенные выпуски и часто используются для выпуска новой функции для избранной группы пользователей. Возможно, вы захотите настроить таргетинг на пользователей в определенной стране или на пользователей определенной версии вашего приложения. Используйте развертывания для снижения риска, для тестирования новых функций в реальной среде с жестким контролем, чтобы вы могли видеть, как работает эта функция. Вы также можете отслеживать, как ваши серверные службы работают с добавленной нагрузкой новой функции, и приблизительное использование, чтобы гарантировать масштабируемость вашего изменения перед выпуском для более широкой аудитории.
Развертывания — отличные инструменты для ситуаций, когда вы внедряете новые функции, которые существенно меняют функциональность, изменения, которые могут привести к непредсказуемым результатам, или изменения, которые могут повлиять на вашу серверную инфраструктуру, службы или внешние API.
A/B-тестирование дает вам возможность представить несколько версий функции или элемента приложения, например, обновить внешний вид пользовательского интерфейса, изменить рекламный текст, обновить уровень сложности игры. Затем вы можете предоставить своим пользователям различные варианты, чтобы узнать, какой вариант обеспечивает лучшие результаты на основе выбранного вами показателя (например, вовлеченности пользователей, кликов по рекламе и дохода).
Используйте A/B-тестирование для принятия решений на основе данных, оптимизации и понимания предпочтений ваших пользователей. Он идеально подходит для ситуаций, когда у вас есть несколько сопоставимых вариантов и очень конкретные цели. Например, A/B-тестирование подходит для изменений, когда вы хотите настроить свое приложение для улучшения определенного показателя, например, для проверки того, какое размещение баннерной рекламы приводит к большему количеству кликов.
Также неплохо объединить развертывание Remote Config и A/B-тестирование в рамках общей стратегии: сначала создайте A/B-тест с ограниченным набором пользователей, чтобы определить вариант, который дает оптимальные результаты для ваших ключевых показателей. Затем, после того как A/B-тестирование определило лидера , создайте роллет с выигрышным вариантом. Следите за его стабильностью и ключевыми показателями по мере постепенного увеличения числа открытых пользователей и, когда вы будете уверены в его производительности, разверните его до 100 %.
Анализ результатов внедрения
После публикации внедрения вы должны почти сразу же увидеть результаты.
Просмотреть результаты можно несколькими способами:
- На странице «Параметры» разверните параметр, который вы настроили для развертывания, и под ним нажмите « Просмотреть результаты» .
- На странице «Внедрения» щелкните имя внедрения.
Селектор приложений в верхней части страницы результатов позволяет выбирать представления для конкретных приложений. Результаты разделены на несколько разделов:
- Раздел «Сводка» , в котором отображается настроенный процент развертывания и предоставляется возможность откатить или изменить развертывание. В развернутом виде отображается обзор сведений о конфигурации вашего внедрения и история изменений .
Раздел «Пользователи» , в котором показано количество уникальных установок приложений, получивших шаблон развертывания, в следующих группах:
- Включено: количество экземпляров приложения, соответствующих целевому условию развертывания и получивших значение развертывания.
- Элемент управления: количество экземпляров приложения, соответствующих целевому условию развертывания и получивших неизмененное значение.
- Цель : расчетное общее количество экземпляров, соответствующих условию, заданному вами в развертывании, которое должно получить либо развертывание, либо неизмененное значение.
Дополнительные сведения см. в статье «Понимание членства в группах развертывания» .
Разделы Crashlytics и Analytics , в которых показаны сравнительные данные для групп «Включено» и «Контроль». Вы можете фильтровать собранные данные за последние 24 часа , с момента последней публикации или за последние 7 дней . Просмотр по умолчанию — «Последние 24 часа».
Результаты Crashlytics для развертываний
Вы можете увидеть общее количество сбоев , нефатальных ошибок и ошибок ANR , произошедших во время развертывания. В каждой категории результатов отображается гистограмма, на которой сравниваются необработанные итоговые значения включенных и контрольных пользователей, соответствующих условию развертывания.
- Сбои: показывает количество и процент сбоев, а также количество уникальных пользователей, у которых произошли сбои, для групп «Включено» и «Контроль».
- Нефатальные ошибки: показывает количество и процент нефатальных ошибок, а также количество уникальных пользователей, у которых возникли нефатальные ошибки.
- ANR (только приложения для Android): показывает количество и процент событий «Приложение не отвечает», а также количество уникальных пользователей, которые столкнулись с одним или несколькими событиями ANR.
Для получения более подробной информации о сбоях вы можете нажать «Просмотреть больше в Crashlytics» . Откроется страница Crashlytics с активным фильтром для развертывания, результаты которого вы проверяли. Результаты развертывания на странице Crashlytics измеряют всех пользователей, которые когда-либо сталкивались с соответствующим вариантом, Enabled или Control . Вы можете просмотреть сбои группы управления, сбои включенной группы или и то, и другое.
Результаты Google Analytics для внедрений
В разделе результатов развертывания Google Analytics сравниваются показатели Analytics для всех пользователей, которые когда-либо имели доступ к группам «Включено» или «Контроль», подробно и в виде графиков. Предоставляются три показателя:
- Общий доход: показывает общую сумму дохода, включая доход от рекламы и доход от покупок, в долларах США. Вы можете отфильтровать результаты, чтобы отображать результаты конкретно по доходам от рекламы или доходам от покупок.
- Всего конверсий: показывает необработанный подсчет суммы всех событий-конверсий. Вы можете отфильтровать результаты по конверсии, которую хотите выделить.
- Общее время взаимодействия: показывает общее время взаимодействия, которое ваши пользователи провели с одним из вариантов внедрения. Общее время взаимодействия отображается в формате Часы:Минуты:Секунды. Например, 01:31:28. На графике показаны данные за период времени, который вы выбрали над разделом Crashlytics.