1. Introducción

En este codelab, aprenderás a crear un experimento de Remote Config con A/B Testing para el juego de ejemplo MechaHamster: Level Up with Firebase edition, que modificaste en Instrumenta tu juego con Firebase Remote Config.

A/B Testing con Remote Config te permite probar cambios en la IU, las funciones o las campañas de participación de tu app en un público objetivo antes de lanzarlos a un público más amplio. También puedes usar los resultados del experimento para lo siguiente:

• Determina qué variantes de valor de los parámetros mejoran las métricas clave, como los ingresos y la retención.
• Descubre qué subgrupos de usuarios prefieren qué variantes.
• Recopila y almacena datos del experimento para realizar un análisis adicional sobre los efectos de establecer diferentes valores de parámetros.

Esta es la esencia de A/B Testing: te permite tomar el código instrumentado para Remote Config y lanzar experimentos que controlen los valores que reciben los clientes, según las condiciones de Remote Config (incluidas las propiedades del usuario de Google Analytics), los lanzamientos porcentuales, los eventos de conversión de Analytics y alguna combinación de estos.

Primero, implementarás una condición que controle quiénes se incluirán en el experimento configurando propiedades del usuario en función de sus acciones. Luego, crearás un experimento de A/B Testing que use las propiedades del usuario de Google Analytics para determinar qué clientes se incluyen en el experimento. Por último, usarás esos datos para obtener más información sobre tu público.

Qué aprenderás

• Cómo configurar A/B Testing con valores instrumentados de Remote Config
• Cómo usar las propiedades del usuario de Google Analytics como parte de las condiciones para ingresar a las pruebas A/B

Requisitos previos

• Completaste la sección Incorpora Remote Config en tu juego

Requisitos

• Unity 2019.1.0f1 o versiones posteriores con compatibilidad con compilaciones para iOS o Android

2. Habilita el menú de depuración

Hay un menú de depuración oculto en el proyecto, y el botón para acceder a este menú existe en el juego, pero no está habilitado actualmente. Debes habilitar el botón para acceder a él desde el prefabricado MainMenu.

1. En el editor de Unity, selecciona la pestaña Project y, luego, en Assets, expande Hamster > Prefabs > Menus y haz clic en MainMenu.

2. En la jerarquía del prefabricado, busca el subobjeto inhabilitado llamado DebugMenuButton y haz clic en él para abrirlo en la pestaña Inspector.

3. En la pestaña Inspector, marca la casilla en la esquina superior izquierda junto al campo de texto que contiene DebugMenuButton para habilitarlo.

4. Guarda el prefabricado.

Si ejecutas el juego en el editor o en tu dispositivo, deberías poder acceder al menú.

3. Habilita el submenú de Remote Config

1. En la pestaña Project del editor de Unity, expande Assets > Hamster > Prefabs > Menus y haz doble clic en el objeto DebugMenu para abrirlo en la pestaña Hierarchy del editor.
   
   
2. En la pestaña Hierarchy, expande la jerarquía y haz clic en el subobjeto en DebugMenu > Panel, que está etiquetado como Remote Config Actions.

3. En la pestaña Inspector de Unity, habilita Remote Config Actions marcando la casilla a la izquierda del campo de texto que contiene el nombre del objeto.

Tiene dos elementos GameObject secundarios llamados Set Bored Of Subtitle y Set Enjoys Subtitle, que están configurados para llamar a métodos existentes, pero no implementados, en DebugMenu.cs.

4. Restablece la anulación de subtítulos a la configuración predeterminada de la app

En el codelab anterior, anulaste el valor predeterminado de un parámetro como JSON y usaste condiciones para publicar diferentes variantes. Como parte de este codelab, borrarás la condición que creaste y volverás a introducir el valor predeterminado en la app, y solo lo anularás con el resultado de las pruebas A/B.

Para volver a habilitar la configuración predeterminada en la app, sigue estos pasos:

1. Abre la página de Remote Config en Firebase console y haz clic en el ícono de lápiz junto al parámetro subtitle_override para abrir el panel lateral Editar parámetro.
2. Haz clic en el ícono de X junto a la condición para borrarla.
3. Junto al valor predeterminado restante, habilita el botón de activación Usar valor predeterminado integrado en la app.

4. Haz clic en Guardar para guardar los cambios y, luego, en Publicar cambios para publicarlos.

5. Cómo configurar propiedades del usuario en funciones de depuración

Ahora, escribirás los cuerpos de las funciones para algunas funciones de Google Analytics preconfiguradas, pero no implementadas en DebugMenu.cs (que se pueden encontrar en Recursos > Hamster > Secuencias de comandos > Estados).

Estas funciones establecen propiedades del usuario, que son formas de describir segmentos de tu base de usuarios y se usan para registrar cómo se siente el usuario con respecto al subtítulo del juego.

Para implementar SetUserBoredOfSubtitle y SetUserEnjoysSubtitle, busca ​​las versiones existentes en DebugMenu.cs y reemplázalas de la siguiente manera:

void SetUserBoredOfSubtitle()
{
  Firebase.Analytics.FirebaseAnalytics.SetUserProperty("subtitle_sentiment", "bored");
}

void SetUserEnjoysSubtitle()
{
  Firebase.Analytics.FirebaseAnalytics.SetUserProperty("subtitle_sentiment", "enjoys");
}

Si tu app está configurada correctamente con Google Analytics, puedes llamar a una de estas funciones para que la propiedad esté disponible para las condiciones de Remote Config. Para llamar a SetUserBoredOfSubtitle desde un dispositivo móvil, inicia el juego y presiona el botón Debug Menu en el menú principal y, luego, presiona Set Bored of Subtitle.

6. Cómo crear una dimensión personalizada

A continuación, configurarás varias variantes de subtítulos para subtitle_override para ver cuál funciona mejor. Sin embargo, en tu prueba A/B, solo publicarás estas variantes para los usuarios cuyos sentimientos sobre el subtítulo actual (como se registra en subtitle_sentiment) incluyan la palabra "aburrido".

Usarás una dimensión personalizada para crear parámetros personalizados y hacer un seguimiento de ellos en los eventos de Analytics. Consulta Dimensiones y métricas personalizadas para obtener más información.

Para crear una nueva dimensión personalizada, sigue estos pasos:

1. Abre Firebase console, expande el menú Analytics y selecciona Definiciones personalizadas.
2. En la página Definiciones personalizadas, haz clic en Crear dimensiones personalizadas.
3. En la ventana Nueva dimensión personalizada, establece el nombre de la dimensión como "Subtitle Sentiment" y, en el menú desplegable Alcance, selecciona Usuario.
4. En el campo Propiedad del usuario, selecciona subtitle_sentiment..

7. Configura el experimento de A/B Testing

A continuación, crea un experimento de A/B Testing para establecer diferentes valores de subtitle_override que se prueben entre sí para optimizar la retención de usuarios de dos a tres días.

1. Primero, selecciona Editar en el parámetro subtitle_override en la página Remote Config de Firebase console:

2. En el cuadro de diálogo Editar parámetro que aparece, haz clic en Agregar nuevo.

3. En la lista que aparece, selecciona Experiment.

4. Ingresa un nombre y una descripción para el experimento.

5. A continuación, elige las condiciones de segmentación. Primero, selecciona tu aplicación en el menú desplegable.

6. A continuación, haz clic en Y para agregar una condición nueva, selecciona Propiedad del usuario y elige subtitle_sentiment. Si no aparece, ingrésala de forma manual.
7. Como solo quieres establecer un subtítulo para aquellos cuyo sentimiento actual de subtítulo incluye "aburrido", elige contiene y escribe bored.
8. De manera opcional, elige qué porcentaje del público que coincida con los criterios anteriores quieres exponer a la prueba. Selecciona 100% para evitar la aleatoriedad que no puedes controlar fácilmente.

9. A continuación, selecciona un objetivo que la prueba intentará maximizar. Elige Retención (de 2 a 3 días).

10. A continuación, configura los parámetros del experimento y crea diferentes variantes de subtítulos . Estas variantes son los diferentes valores que las pruebas A/B mostrarán a los usuarios cuyo subtitle_sentiment contenga "aburrido", y las pruebas A/B determinarán qué variante es mejor para maximizar la retención.
11. Ingresa el siguiente valor de parámetro para la variante A:

    {"text":"A: A game about a mechanical hamster","fontSize":8,"textColor":{"r":0.0,"g":255.0,"b":0.0,"a":255.0}}
    

12. Ingresa el siguiente valor de parámetro para la variante B:

    {"text":"B: A game about a mechanical hamster","fontSize":14,"textColor":{"r":255.0,"g":0.0,"b":0.0,"a":255.0}}
    

13. Establece las proporciones de las variantes con números enteros de la siguiente manera:
    • Base: 1
    • Variante A: 100
    • Variant B: 100
    Esto dará como resultado ponderaciones totales del 0.5% para el modelo de referencia, del 49.8% para la variante A y del 49.8% para la variante B.Estas variantes especifican que, una de cada 201 veces, las pruebas A/B publican el valor predeterminado para quienes se aburren de los subtítulos, pero 200 de cada 201 veces, publicarán uno de los dos valores nuevos y anularán la pantalla del título.
14. Para guardar y enviar el experimento, haz clic en Iniciar experimento y, luego, en Iniciar en la ventana emergente de confirmación.

8. Ejecuta el método Set User Property y realiza la actualización

Ahora configuraste varias propiedades sobre el usuario, que luego se pueden usar para dirigir la lógica o la presentación de tu juego.

Si no ejecutaste el método SetUserProperty anteriormente o lo configuraste como enjoys, deberías ver los subtítulos predeterminados cuando abras el juego.

Si lo configuraste en bored (antes de volver a recuperar), deberías ver uno de los valores nuevos en una proporción de aproximadamente 50/50.

Una vez que un dispositivo ingresa en un experimento de pruebas A/B, los valores que recibe de ese experimento no cambiarán y serán persistentes por instalación. Como consecuencia, para recibir uno de los otros valores experimentales, debes crear una instalación nueva. Para ello, reinstala el juego en el mismo dispositivo o simulador, o bien instálalo en uno nuevo.

En una prueba A/B real que se lanzó en tu base de usuarios, debes darle al modelo de referencia un peso similar al de las otras variantes. Sin embargo, en este caso, asignas probabilidades muy sesgadas para validar que el experimento funcione. Si (en el caso del 1/201) sigues recibiendo el valor predeterminado, intenta reinstalar el juego en tu dispositivo o simulador.

Otro efecto de esto es que, si vuelves a cambiar la propiedad del usuario a enjoys, no se cambiará el valor al modelo de referencia, pero, una vez más, puedes hacerlo cambiando a enjoys y reinstalando.

9. ¡Felicitaciones!

Usaste las pruebas A/B de Remote Config para experimentar con diferentes valores de Remote Config y determinar cómo cada uno afecta las métricas de Analytics.

Temas abordados

• Cómo configurar A/B Testing con valores instrumentados de Remote Config
• Cómo usar las propiedades del usuario de Google Analytics como parte de las condiciones para ingresar a los experimentos de pruebas A/B

Próximos pasos

Una vez que finalice el experimento, podrás seleccionar uno de la lista de experimentos de tu proyecto para decidir qué quieres hacer con él. ¿Quieres elegir uno como "ganador" o realizar más experimentos?