О персонализации Remote Config

Персонализация использует машинное обучение — в частности, контекстный алгоритм многорукого бандита — для определения оптимального пользовательского опыта для достижения определенной цели. В нашем случае цель состоит в оптимизации общего количества или общего значения параметров конкретных событий Google Analytics .

Что такое контекстный алгоритм многорукого бандита?

«Многорукий бандит» — это метафора, используемая для описания ситуации, когда мы хотим постоянно выбирать путь, ведущий к наивысшему и наиболее надежному вознаграждению из списка множества путей. Для наглядности можно использовать метафору игрока перед рядом игровых автоматов — часто в разговорной речи его называют «одноруким бандитом», потому что у игрового автомата одна ручка (или «рука»), и он забирает ваши деньги. Поскольку мы хотим найти несколько «рук», однорукий бандит превращается в многорукого бандита.

Например, предположим, у нас есть три варианта, и мы хотим определить, какой из них обеспечивает наиболее надежное вознаграждение: мы могли бы попробовать каждый вариант, а затем, получив результат, просто продолжать выбирать тот, который принес наибольшее вознаграждение. Это называется жадным алгоритмом: вариант, который дает наилучший результат при первой попытке, мы будем продолжать выбирать. Но мы понимаем, что это может работать не всегда — во-первых, высокое вознаграждение может быть случайностью. Или, возможно, существуют какие-то специфические условия, которые привели к более высоким вознаграждениям в определенный период времени, но которые окажутся менее эффективными позже.

Таким образом, для повышения эффективности алгоритма добавляется контекст . В случае персонализации Remote Config этот начальный контекст представляет собой случайную выборку, или неопределенность , которая вносит некоторую энтропию в эксперимент. Это реализует « контекстный многорукий бандит». По мере продолжения эксперимента, постоянное исследование и наблюдение добавляют реальный, изученный контекст о том, какие «руки» с наибольшей вероятностью вызовут вознаграждение у модели, что делает ее более эффективной.

Что это значит для моего приложения?

Теперь давайте обсудим, что означает алгоритм многорукого бандита в контексте вашего приложения. Допустим, вы оптимизируете поиск по кликам на баннерную рекламу. В этом случае «руками» персонализации будут альтернативные значения, которые вы указываете для представления различных баннерных объявлений, которые вы хотите показать пользователям. Клик на баннерную рекламу — это вознаграждение, которое мы называем целью .

При первом запуске персонализации модель не знает, какое из альтернативных значений с большей вероятностью позволит достичь цели для каждого отдельного пользователя. По мере того, как персонализация изучает каждое альтернативное значение, чтобы понять вероятность достижения цели, базовая модель получает все больше информации, улучшая свою способность прогнозировать и выбирать оптимальный вариант для каждого пользователя.

Персонализация использует окно «прилипания» в 24 часа. Это время, в течение которого алгоритм персонализации исследует одно альтернативное значение. Вам следует предоставить своим алгоритмам персонализации достаточно времени для многократного исследования каждого альтернативного значения (обычно около 14 дней). В идеале, вы можете позволить им работать постоянно, чтобы они могли непрерывно улучшаться и адаптироваться по мере изменения вашего приложения и поведения пользователей.

Отслеживайте дополнительные показатели

Персонализация Remote Config также позволяет отслеживать до двух дополнительных показателей, что помогает контекстуализировать результаты. Допустим, вы разработали социальное приложение и установили различные альтернативные значения, чтобы побудить пользователей делиться контентом с друзьями и тем самым повысить общую вовлеченность.

В этом случае вы можете оптимизировать данные для события Analytics такого как link_received , и установить две метрики: user_engagement и link_opened чтобы понять, увеличивается ли вовлеченность пользователей и количество открываемых ими ссылок (истинная вовлеченность) или уменьшается (возможно, слишком много спамных ссылок).

Хотя эти дополнительные показатели не будут учитываться в алгоритме персонализации, вы можете отслеживать их одновременно с результатами персонализации, что позволит получить ценную информацию о способности персонализации достигать ваших общих целей.

Понимание результатов персонализации

После того как процесс персонализации будет запущен достаточно долго, чтобы собрать данные, вы сможете просмотреть его результаты.

Чтобы просмотреть результаты персонализации:

  1. Откройте страницу Remote Config и нажмите «Персонализация» .

  2. Выберите интересующую вас персонализацию. Вы можете выполнить поиск нужной персонализации по имени или цели, а также отсортировать результаты по имени, времени начала или общему результату.

На странице результатов отображается сводная информация о совокупном приросте производительности , или процентной разнице в результатах, которую обеспечивает персонализация по сравнению с базовой группой.

На странице результатов также отображается текущий статус персонализации, атрибуты персонализации и интерактивный график, который:

  • Представляет собой подробный ежедневный и общий обзор того, как персонализация показала себя по сравнению с базовым уровнем.

  • Показывает, как каждое значение в целом ведет себя в базовой группе.

  • Отображает результаты достижения целей и показатели эффективности по дополнительным выбранным вами метрикам, доступ к которым осуществляется через вкладки в верхней части сводки.

Персонализация может работать неограниченно долго, и вы можете постоянно заходить на страницу результатов, чтобы отслеживать её эффективность. Алгоритм будет постоянно обучаться и корректироваться, чтобы адаптироваться к изменениям в поведении пользователей.

Понимание удаления персонализации

Удалить персонализацию можно с помощью консоли Firebase или удалив параметр персонализации из шаблона с помощью API Firebase Remote Config . Удаленные персонализации восстановить невозможно. Подробнее о сроках хранения данных см. в разделе «Удаление данных» .

Вы также можете удалить настройки персонализации, отменив изменения или импортировав шаблон .

Откаты

Если в вашем текущем шаблоне есть персонализации, и вы откатываетесь к шаблону, в котором эти персонализации отсутствуют, они будут удалены. Чтобы вернуться к предыдущему шаблону, используйте консоль Firebase или roll back API Firebase Remote Config .

При удалении персонализации и возврате к предыдущему шаблону в консоли Firebase появляется ссылка на эту недействительную персонализацию. Вы можете удалить недействительную персонализацию из консоли Firebase , отредактировав ее на вкладке «Параметры» страницы Remote Config .

Импорт

Импорт шаблона, который больше не содержит ваших текущих настроек, также приводит к удалению этих настроек. Для импорта шаблона используйте консоль Firebase или REST API Remote Config .

Следующие шаги