В этом руководстве представлена информация о ключевых понятиях, связанных с развертыванием Remote Config , чтобы вы могли:
- Разберитесь, как работает членство в группах развертывания.
- Знайте, когда следует использовать поэтапное внедрение, а когда — A/B-тестирование.
- Научитесь интерпретировать результаты внедрения.
Разберитесь в вопросе членства в группе развертывания.
При создании нового развертывания и назначении процента Firebase помещает равную по размеру часть вашей аудитории в контрольную группу для получения точных результатов при сравнении производительности включенной функции, в результате чего формируются следующие группы.
- Включено : устройства пользователей, назначенные этой группе, получают значение, которое вы настроили при развертывании.
- Управление : Устройства пользователей, назначенные этой группе, получают значения, которые они получили бы от Remote Config , а не значения, полученные в ходе развертывания.
- Не назначено: Пользовательские устройства в этой группе получают значение, которое они получили бы от Remote Config , но не используются в результатах сравнения при развертывании.
То есть, если вы внедрите эту функцию для 2% ваших пользователей, они будут добавлены в группу «Включено», а еще 2% ваших пользователей будут добавлены в контрольную группу, которая используется для сравнения. 96% ваших пользователей останутся в группе «Не назначено».
Такой подход обеспечивает справедливое сравнение производительности пользователей и устройств, получивших ваше обновление, с теми, которые его не получили, и позволяет эффективно определять успех или неудачу обновления на странице результатов обновления .
Назначение групп развертывания остается неизменным на всех этапах развертывания. То есть, если в рамках одного и того же развертывания вы уменьшите процент до 0%, все пользователи вернутся к получению значения параметра, определенного в шаблоне Remote Config . Если позже вы решите увеличить процент развертывания, пользователи, которые ранее входили в группы «Включено» или «Контроль», вернутся в группу, к которой они были первоначально назначены, и будут получать значения, соответствующие этим группам.
После того, как вы убедитесь в успешности релиза и решите запустить его полностью для 100% целевых пользователей, Firebase больше не будет использовать контрольную группу, и все целевые пользователи и устройства получат значение, соответствующее развертыванию.
Когда следует использовать поэтапное внедрение, а когда — A/B-тестирование?
Внедрение Remote Config и A/B Testing подходят для несколько разных сценариев использования и могут применяться взаимодополняющим образом.
Внедрение новых функций — это поэтапный релиз, часто используемый для предоставления новой функции ограниченной группе пользователей. Возможно, вы захотите ориентироваться на пользователей в определенной стране или использующих определенную версию вашего приложения. Внедрение новых функций позволяет снизить риски, протестировать новые функции в реальных условиях с жестким контролем, чтобы увидеть, как они работают. Вы также можете отслеживать производительность ваших бэкэнд-сервисов при дополнительной нагрузке, связанной с новой функцией, и приблизительно оценивать использование, чтобы убедиться в масштабируемости изменений перед выпуском для более широкой аудитории.
Внедрение новых функций — отличный инструмент для ситуаций, когда вы реализуете новые функции, которые существенно меняют функциональность, вносите изменения, которые могут привести к непредсказуемым результатам, или вносите изменения, которые могут повлиять на вашу серверную инфраструктуру, сервисы или внешние API.
A/B Testing позволяет демонстрировать несколько версий функции или элемента приложения, например, обновление внешнего вида пользовательского интерфейса, изменение рекламного текста, повышение сложности игрового уровня. Затем вы можете показывать пользователям различные варианты, чтобы узнать, какой из них дает лучшие результаты по выбранным показателям (например, вовлеченность пользователей, клики по рекламе и доход).
Используйте A/B Testing для принятия решений на основе данных, оптимизации и понимания предпочтений ваших пользователей. Оно идеально подходит для ситуаций, когда у вас есть несколько сопоставимых вариантов и очень конкретные цели. Например, A/B Testing подходит для изменений, которые вы хотите внести в приложение, чтобы улучшить определенный показатель, например, проверить, какое размещение баннерной рекламы приводит к большему количеству кликов.
Также целесообразно объединить развертывание Remote Config и A/B Testing в рамках общей стратегии: сначала проведите A/B-тестирование с ограниченным набором пользователей, чтобы определить вариант, который дает оптимальные результаты по ключевым показателям. Затем, после того как A/B Testing определит лидера , проведите развертывание с использованием выигрышного варианта. Отслеживайте его стабильность и ключевые показатели по мере постепенного увеличения числа пользователей, и, когда вы будете уверены в его производительности, разверните его на 100%.
Понимание результатов внедрения
После запуска обновления вы должны увидеть результаты практически сразу.
Результаты можно просмотреть несколькими способами:
- На странице «Параметры» разверните параметр, который вы настроили для развертывания, и под этим развертыванием нажмите «Просмотреть результаты» .
- На странице «Внедрения» щелкните название внедрения.
В верхней части страницы результатов поиска можно выбрать отображение результатов для конкретных приложений. Результаты разделены на несколько разделов:
- Раздел «Сводка » отображает заданный процент развертывания и предоставляет возможность отката или редактирования развертывания. В развернутом виде он отображает обзор сведений о конфигурации развертывания и историю изменений .
В разделе «Пользователи» отображается количество уникальных установок приложений, для которых был загружен шаблон развертывания, в следующих группах:
- Включено: Количество экземпляров приложения, соответствующих целевому условию развертывания и получивших значение развертывания.
- Контроль: Количество экземпляров приложения, соответствующих целевому условию развертывания и получивших неизмененное значение.
- Цель : Предполагаемое общее количество экземпляров, соответствующих условию, установленному вами при развертывании, которые должны получить либо развертывание, либо неизмененное значение.
Подробнее см. в разделе «Понимание членства в группе внедрения» .
Разделы Crashlytics и Analytics отображают сравнительные данные для групп «Включено» и «Контроль». Вы можете фильтровать собранные данные по следующим параметрам: «Последние 24 часа» , «С момента последней публикации » или «Последние 7 дней» . По умолчанию отображается информация за последние 24 часа.
Результаты Crashlytics по внедрению
Вы можете увидеть общее количество сбоев , некритических ошибок и ошибок ANR, произошедших во время развертывания. Для каждой категории результатов отображается гистограмма, сравнивающая общие показатели для пользователей с включенной и контрольной версиями , которые соответствовали условиям развертывания.
- Сбои: Отображает количество и процент сбоев, а также количество уникальных пользователей, у которых произошли сбои, для групп «Включено» и «Контроль».
- Некритические ошибки: Отображает количество и процент некритических ошибок, а также количество уникальных пользователей, столкнувшихся с некритическими ошибками.
- Сообщения об ошибке «Приложение не отвечает» (только для приложений Android): отображает количество и процент событий «Приложение не отвечает», а также количество уникальных пользователей, у которых произошло одно или несколько событий ошибки «Приложение не отвечает».
Для получения более подробной информации о сбоях вы можете нажать «Посмотреть больше» в Crashlytics . Это откроет страницу Crashlytics с активным фильтром для развертывания, результаты которого вы просматривали. Результаты развертывания на странице Crashlytics охватывают всех пользователей, которые когда-либо сталкивались с соответствующим вариантом: «Включено» или «Контрольный» . Вы можете выбрать просмотр сбоев в контрольной группе, сбоев в группе «Включено» или обоих вариантов.
Результаты Google Analytics по внедрению новых функций.
В разделе «Результаты внедрения Google Analytics подробно и в виде графиков сравниваются показатели Analytics для всех пользователей, которые когда-либо взаимодействовали с группами «Включено» или «Контроль». Предоставляются три показателя:
- Общий доход: Отображает общую сумму дохода, включая доход от рекламы и доход от покупок, в долларах США. Вы можете отфильтровать результаты, чтобы отобразить результаты только по доходу от рекламы или доходу от покупок.
- Общее количество конверсий: Отображает общее число всех событий конверсии. Вы можете отфильтровать результаты по конверсии, которую хотите выделить.
- Общее время взаимодействия: показывает общее время взаимодействия пользователей с одним из вариантов внедрения. Общее время взаимодействия отображается в формате Часы:Минуты:Секунды. Например, 01:31:28. График отображает данные за период времени, выбранный вами выше в разделе Crashlytics .