Crea experimentos de Messaging con pruebas A/B

Cuando te comunicas con tus usuarios o comienzas una campaña de marketing nueva, debes asegurarte de hacerlo bien. Las pruebas A/B pueden ayudarte a encontrar la presentación y las palabras ideales mediante la prueba de variantes de un mensaje en porciones seleccionadas de tu base de usuarios. Si tu objetivo es lograr una mejor retención o conversión en una oferta, las pruebas A/B pueden ejecutar un análisis estadístico para determinar si una variante de mensaje tiene mejor rendimiento que el grupo de control para tu objetivo seleccionado.

Consulta los videos de instructivos al final de esta guía. Estos videos son una manera útil de obtener más información sobre la creación y la ejecución de pruebas A/B efectivas.

Para hacer pruebas A/B en las variantes de función con un grupo de control, haz lo siguiente:

  1. Crea el experimento.
  2. Valida el experimento en un dispositivo de prueba.
  3. Administra el experimento.

Crea un experimento

Usar el Compositor de Notifications en un experimento te permite evaluar distintas variantes de un solo mensaje de notificación.

  1. En la barra de navegación de Firebase console, expande Crecer, haz clic en Notifications y, luego, en Crear experimento.
  2. Llena los siguientes campos para definir los Aspectos básicos del experimento:

    • Nombre: Ingresa un nombre para el experimento.
    • Descripción (opcional): Ingresa texto adicional para describir el experimento.
    • Usuarios de destino: Selecciona la app que usa el experimento. También puedes seleccionar una o más de las siguientes opciones para limitar el experimento a un subconjunto de tus usuarios:

      • Versión: Una o más versiones de tu app.
      • Público de usuarios: Uno o más públicos de Google Analytics para Firebase a los que pertenecen los usuarios que podrían incluirse en el experimento.
      • Propiedad de usuario: Una propiedad de usuario de Analytics que se usa para seleccionar usuarios que se podrían incluir en el experimento, con diversas opciones para seleccionar valores de propiedades de usuario.
      • Idioma: Uno o más idiomas para seleccionar usuarios que se podrían incluir en el experimento.
    • Porcentaje de usuarios de destino: Ingresa el porcentaje de la base de usuarios de la app que coincide con los criterios configurados en Usuarios de destino y que deseas dividir en partes iguales entre el grupo de control y una o más variantes del experimento. Esto puede ser cualquier porcentaje entre el 0.01%. y el 100%. Los porcentajes se vuelven a asignar de forma aleatoria a los usuarios para cada experimento, incluidos los experimentos duplicados.
  3. Escribe un mensaje para enviarlo al grupo de control en el campo Ingresa el texto del mensaje. Si no deseas enviar un mensaje al grupo de control, deja este campo en blanco.

  4. (opcional) Para agregar más de una variante al experimento, haz clic en Agregar variante. Según la configuración predeterminada, los experimentos tienen un grupo de control y una variante.
  5. (opcional) Ingresa un nombre para cada variante del experimento que reemplace los nombres Variante A, Variante B y otros.
  6. Ingresa el texto de mensaje para cada variante del experimento.
  7. Define una métrica de objetivo del experimento para usarla cuando evalúes las variantes del experimento. Estas métricas incluyen objetivos integrados (participación, compras, ingresos, retención, etc.), eventos de conversión de Analytics y otros eventos de Analytics.

    Para obtener más información sobre los eventos de Analytics que se usan para calcular en qué medida las variantes logran los objetivos del experimento, consulta las métricas de objetivo.

  8. Define otras métricas para hacer un seguimiento de los resultados del experimento y detectar efectos secundarios de las variantes de experimento. Para obtener más información sobre el seguimiento de otras métricas, consulta otras métricas.

  9. Elige opciones para el mensaje:

    • Fecha de envío: Elige Enviar ahora para iniciar el experimento de inmediato o Enviar más tarde para especificar un momento en el futuro en el que se iniciará el experimento.
    • Opciones avanzadas: Para seleccionar opciones avanzadas para todas las notificaciones que incluye el experimento, expande Opciones avanzadas y cambia cualquiera de las opciones siguientes:

      • Título: El título de la notificación que se muestra en dispositivos Android y watchOS de Apple.
      • Datos personalizados: Un conjunto de pares clave-valor que se envía a la app junto con la notificación.
      • Prioridad: Alta o Normal.
      • Sonido: Inhabilitado o Habilitado.
      • (Solo para iOS) Insignia en iOS: Inhabilitada o Habilitada.
      • Vence: Un intervalo que determina por cuánto tiempo se conserva el mensaje para volver a enviarlo si falla el envío inicial.
  10. Haz clic en Revisar para guardar el experimento. Si configuras la Fecha de entrega como Enviar ahora, los usuarios incluidos en el experimento recibirán un mensaje de inmediato.

Valida el experimento en un dispositivo de prueba

La instalación de cada app de Firebase tiene un token de ID de instancia (o token de registro) asociado. Puedes usar este token para probar variantes de experimento específicas en un dispositivo de prueba con la app instalada. Para validar el experimento en un dispositivo de prueba, haz lo siguiente:

  1. Obtén el token de ID de instancia de la siguiente manera:

    iOS

    NSLog(@"%@", [[FIRInstanceID instanceID] token]);
    

    Android

    Log.d("IID_TOKEN", FirebaseInstanceId.getInstance().getToken());
    
  2. En la barra de navegación de Firebase console, haz clic en Remote Config o en Notifications y, después, en Pruebas A/B.
  3. Haz clic en Borrador y en el título del experimento.
  4. Haz clic en Administrar dispositivos de prueba, ingresa el token de ID de instancia para un dispositivo de prueba y elige la variante de experimento que se enviará a ese dispositivo de prueba.
  5. Ejecuta la app y confirma que el dispositivo de prueba recibe la variante seleccionada.

Para obtener más información sobre el token de ID de instancia, consulta FIRInstanceID (iOS) o FirebaseInstanceId (Android).

Administra el experimento

Si creas un experimento con Remote Config o con el Compositor de Notifications, puedes validar y comenzar tu experimento, supervisarlo mientras se ejecuta y aumentar la cantidad de usuarios incluidos en él.

Una vez que termines el experimento, puedes tomar nota de la configuración de la variante ganadora y luego implementar esa configuración para todos los usuarios. También tienes la posibilidad de ejecutar otro experimento.

Inicia un experimento

  1. En la barra de navegación de Firebase console, expande Crecer, haz clic en Remote Config o Notifications y, luego, en Pruebas A/B.
  2. Haz clic en Borrador y en el título del experimento.
  3. Para validar que tu app tiene usuarios que se incluirían en el experimento, verifica que hay un número mayor que el 0% en la Descripción general del experimento (por ejemplo, el 1% de los usuarios coincide con los criterios).
  4. Para modificar el experimento, haz clic en Editar.
  5. Para iniciar el experimento, haz clic en Iniciar experimento. Puedes ejecutar hasta 6 experimentos por proyecto a la vez.

Supervisa un experimento

Después de que el experimento se ejecuta por un tiempo, puedes verificar su progreso y ver cómo lucen los resultados para los usuarios que participaron en tu experimento hasta ahora.

  1. En la barra de navegación de Firebase console, haz clic en Crecer, luego en Remote Config o Notifications, y en Pruebas A/B.
  2. Haz clic en En ejecución y en el título del experimento. En esta página, puedes ver varias estadísticas sobre tu borrador de experimento, incluida la métrica de objetivo y otras métricas. Para cada métrica, está disponible la siguiente información:

    • Mejora: Una medida de la mejora de una métrica para una variante dada en comparación con el punto de referencia (o grupo de control). Se calcula a partir de la comparación entre el rango de valores para la variante y el rango de valores para el punto de referencia.
    • Probabilidad de superar el punto de referencia: La probabilidad estimada de que una variante dada supere el punto de referencia para la métrica seleccionada.
    • Probabilidad de ser la mejor variante: La probabilidad estimada de que una variante dada supere las otras variantes para la métrica seleccionada.
    • Valor por usuario: Se calcula a partir de los resultados del experimento y corresponde al rango predicho en el que caerá el valor de la métrica con el tiempo.
    • Valor total: El valor acumulado observado para la variante o el grupo de control. El valor se usa para medir el rendimiento de cada variante de experimento y para calcular la mejora, el rango de valores, la probabilidad de superar el punto de referencia y la probabilidad de ser la mejor variante. Según la métrica que se mide, esta columna podría tener la etiqueta "Duración por usuario", "Tasa de retención" o "Tasa de conversión".
  3. Para aumentar la cantidad de usuarios incluidos en el experimento, haz clic en Aumentar distribución y aumenta el porcentaje para agregar más usuarios aptos a tu experimento.

  4. Después de que el experimento se ejecuta por un tiempo (al menos 24 horas), los datos de esta página indican qué variante es la "líder", si hay alguna. Algunas mediciones incluyen un gráfico de barras que presenta los datos de manera visual.

Implementa un experimento en todos los usuarios

Después de que un experimento se ejecuta por un tiempo suficiente para encontrar una variante "líder" o ganadora para tu métrica de objetivo, puedes implementar el experimento en la totalidad de los usuarios. Esto detiene el experimento, si está en ejecución, y te permite seleccionar un valor para publicar en Remote Config para todos los usuarios que continúen. Incluso si tu experimento no creó una ganadora evidente, puedes implementar una variante a todos tus usuarios.

  1. En la barra de navegación de Firebase console, haz clic en Crecer, luego en Remote Config o Notifications, y en Pruebas A/B.
  2. Haz clic en Completado o En ejecución, en el experimento que deseas implementar en todos los usuarios, en el menú contextual (more_vert) y, luego, en Implementar al 100%.
  3. Para implementar el experimento en todos los usuarios, sigue uno de los siguientes métodos:

    • En el caso de un experimento que usa el compositor de Notifications, usa el diálogo Implementar mensaje para enviar el mensaje a los usuarios de destino restantes que no formaban parte del experimento.
    • En el caso de un experimento de Remote Config, usa el diálogo para determinar qué valores de parámetros de Remote Config se deben cambiar para todos los usuarios.

Expande un experimento

Si descubres que un experimento no atrae a suficientes usuarios a las pruebas A/B como para declarar una líder, puedes expandir tu experimento para alcanzar a un porcentaje mayor de la base de usuarios de la app.

  1. En la barra de navegación de Firebase console, haz clic en Crecer, luego en Remote Config o Notifications, y en Pruebas A/B.
  2. Haz clic en En ejecución, desplázate sobre el experimento, haz clic en el menú contextual (more_vert) y luego en Aumentar distribución.
  3. La consola muestra un diálogo con una opción para aumentar el porcentaje de usuarios que se incluyen en el experimento que se encuentra en ejecución. Ingresa un número mayor que el porcentaje actual y haz clic en Enviar. El experimento se enviará al porcentaje de usuarios que especificaste.

Duplica o detén un experimento

  1. En la barra de navegación de Firebase console, haz clic en Crecer, luego en Remote Config o Notifications, y en Pruebas A/B.
  2. Haz clic en Completado o En ejecución, desplázate por el experimento y haz clic en el menú contextual (more_vert) y, luego, en Duplicar o en Detener.

Orientación a usuarios

Puedes elegir los usuarios que incluirás en el grupo de control o en las variantes del experimento con los siguientes criterios de orientación a usuarios:

Criterio de orientación Operadores    Valores Nota
Versión contiene,
no contiene,
coincide exactamente con,
contiene la expresión regular
Ingresa un valor para una o más versiones de la app que deseas incluir en el experimento.

Cuando usas cualquiera de los operadores contiene, no contiene o coincide exactamente con, puedes proporcionar una lista de valores separados con comas.

Cuando usas el operador contiene la expresión regular, puedes crear expresiones regulares con el formato RE2. Tu expresión regular puede buscar una coincidencia total o parcial en la string de la versión objetivo. También puedes usar los delimitadores ^ y $ para buscar coincidencias en el principio, el final o la totalidad de la string objetivo.

Públicos de usuarios incluye todos los elementos de,
incluye al menos un elemento de,
no incluye ningún elemento de,
no incluye al menos un elemento de
Selecciona uno o más públicos de Analytics para elegir usuarios que se podrían incluir en el experimento.  
Propiedad del usuario Para texto:
contiene,
no contiene,
coincide exactamente,
contiene la expresión regular

Para números:
<, ≤, =, ≥, >
Las propiedades de usuario de Analytics se usan para seleccionar usuarios que se podrían incluir en el experimento, con diversas opciones para seleccionar valores de propiedades de usuario. Cuando usas el operador contiene la expresión regular, puedes crear expresiones regulares con el formato RE2. Tu expresión regular puede buscar una coincidencia total o parcial en la string de la versión objetivo. También puedes usar los delimitadores ^ y $ para buscar coincidencias en el principio, el final o la totalidad de la string objetivo.
Predicción No corresponde Grupos de usuarios de destino que define Firebase Predictions. Por ejemplo, usuarios que probablemente dejen de usar tu app, o usuarios que probablemente hagan una compra directa desde la app. Selecciona uno de los valores que define la herramienta de Firebase Predictions. Si una opción no está disponible, es posible que debas visitar la sección Predictions de Firebase console para habilitar Firebase Predictions.  
País del dispositivo No corresponde Uno o más países o regiones que se usan para seleccionar usuarios que se podrían incluir en el experimento.  
Idioma del dispositivo No corresponde Uno o más idiomas y configuraciones locales que se usan para seleccionar usuarios que se podrían incluir en el experimento. Este criterio de orientación solo está disponible para Remote Config.

Métricas de pruebas A/B

Cuando creas el experimento, seleccionas una métrica que se usa para comparar variantes de experimento; también puedes elegir otras métricas para realizarles un seguimiento que te permita comprender mejor cada variante de experimento y detectar los efectos secundarios importantes (como los bloqueos de la app). Las siguientes tablas proporcionan detalles sobre cómo se calculan las métricas de objetivo y otras métricas:

Métricas de objetivo

Métrica Descripción
Participación diaria de los usuarios La cantidad de usuarios que tienen tu app en primer plano cada día por un tiempo suficiente para activar el evento de Analytics user_engagement.
Retención (1 día) La cantidad de usuarios que vuelven a tu app cada día.
Retención (de 2 a 3 días) La cantidad de usuarios que vuelven a tu app en un período de 2 a 3 días.
Retención (de 4 a 7 días) La cantidad de usuarios que vuelven a tu app en un período de 4 a 7 días.
Retención (de 8 a 14 días) La cantidad de usuarios que vuelven a tu app en un período de 8 a 14 días.
Retención (15 días o más) La cantidad de usuarios que vuelven a tu app 15 días o más después de la última vez que la usaron.
Notificación abierta Hace un seguimiento para saber si un usuario abre la notificación que envió el Compositor de Notifications.
Ingresos por compras Una métrica de AdMob que mide los ingresos de las compras directas desde la aplicación.
first_open Un evento de Analytics que se activa cuando un usuario abre una app por primera vez después de instalarla o reinstalarla. Se usa como parte de un embudo de conversión.
notification_open Un evento de Analytics que se activa cuando un usuario abre una notificación que envió el Compositor de Notifications. Se usa como parte de un embudo de conversión.

Otras métricas

Métrica Descripción
Usuarios que no experimentaron bloqueos El porcentaje de usuarios de la app que no encontraron errores detectados por el SDK de Firebase Crash Reporting durante el experimento. Para obtener más información, consulta las métricas de usuario sin bloqueos.
notification_dismiss Un evento de Analytics que se activa cuando se descarta una notificación que envió el Compositor de Notifications (solo en Android).
notification_receive Un evento de Analytics que se activa cuando se recibe una notificación que envió el Compositor de Notifications mientras la app se ejecuta en segundo plano (solo en Android).
os_update Un evento de Analytics que hace un seguimiento para saber cuándo el sistema operativo del dispositivo se actualiza a una versión nueva.Para obtener más información, consulta los eventos recopilados de forma automática.
screen_view Un evento de Analytics que hace un seguimiento de las pantallas visitadas dentro de tu app. Para obtener más información, consulta el seguimiento de visitas a pantallas.
session_start Un evento de Analytics que cuenta sesiones de usuarios en tu app. Para obtener más información, consulta los eventos recopilados de forma automática.
user_engagement Un evento de Analytics que se activa de forma periódica mientras la app se ejecuta en primer plano. Para obtener más información, consulta los eventos recopilados de forma automática.

Obtén más información con la serie de videos sobre las pruebas A/B

La serie de videos "Haz pruebas A/B como un profesional" explora los detalles y los elementos complejos de las pruebas A/B mediante una prueba de ejemplo de extremo a extremo.

Episodio 1: Preparación para las pruebas A/B

¿Qué son las pruebas A/B exactamente? ¿Por qué deberían interesarme y cómo puedo comenzar? Este video responde tus preguntas sobre la preparación de pruebas A/B y muestra una explicación de la configuración para una prueba de ejemplo de Remote Config.

Episodio 2: Creación de un experimento

Este video profundiza en los detalles de la creación de una prueba A/B efectiva. Obtendrás información sobre la definición de grupos de prueba, la selección de variantes y todas las otras tareas para crear una prueba correcta.

Episodio 3: Comprensión de los resultados del experimento

Este video se encuentra en producción y estará disponible pronto.

Episodio 4: Notificaciones de las pruebas A/B

Disponible próximamente

Episodio 5: Cómo agregué Remote Config a mi app para iOS

Disponible próximamente

Enviar comentarios sobre…

¿Necesitas ayuda? Visita nuestra página de asistencia.