Google se compromete a impulsar la igualdad racial para las comunidades afrodescendientes. Obtén información al respecto.

Crea experimentos de In‑App Messaging con A/B Testing

Cuando te comunicas con tus usuarios o comienzas una campaña de marketing nueva, debes asegurarte de hacerlo bien. Las pruebas A/B pueden ayudarte a encontrar la presentación y las palabras ideales mediante la evaluación de variantes de un mensaje ante determinados grupos de usuarios de tu base. Si tu objetivo es mejorar la retención de una oferta o su conversión, con las pruebas A/B se puede ejecutar un análisis estadístico para determinar si una variante de un mensaje tiene mejor rendimiento que el grupo de control para tu objetivo seleccionado.

Para hacer pruebas A/B en variantes de funciones con un grupo de control, haz lo siguiente:

  1. Crea el experimento.
  2. Valida el experimento en un dispositivo de prueba.
  3. Administra el experimento.

Crea un experimento

Usar Firebase In‑App Messaging en un experimento te permite evaluar múltiples variantes de un solo mensaje desde la app.

  1. Accede a Firebase, actualiza la configuración de uso compartido de datos y asegúrate de que esté habilitada la función. Sin él, tu experimento no tendrá acceso a los datos de estadísticas.
  2. En la sección Participación de la barra de navegación de Firebase console, haz clic en A/B Testing.
  3. Haz clic en Crear experimento y selecciona In‑App Messaging cuando se te pida que elijas el servicio con el que quieres experimentar.
  4. Como alternativa, en la barra de navegación de Firebase console, expande Crecimiento y, luego, haz clic en In‑App Messaging. Después, haz clic en Experimento nuevo.
  5. Ingresa un Nombre y una Descripción opcional para tu experimento y, a continuación, haz clic en Siguiente.
  6. Completa los campos de Segmentación. Para ello, selecciona primero la app que usa el experimento. También puedes elegir una o más opciones que incluyan lo siguiente para limitar el experimento a un subconjunto de tus usuarios:

    • Versión: una o más versiones de tu app
    • Público de usuarios: públicos de Analytics que se usan para orientar a usuarios que se podrían incluir en el experimento
    • Propiedad del usuario: una o más propiedades de usuario de Analytics para seleccionar usuarios que se podrían incluir en el experimento
    • Predicción: grupos de usuarios que tendrán un comportamiento particular según predicciones realizadas con aprendizaje automático
    • País o región: uno o más países o regiones para seleccionar usuarios que se podrían incluir en el experimento
    • Idioma del dispositivo: uno o más idiomas y configuraciones regionales que se usan para seleccionar usuarios que se podrían incluir en el experimento
    • Primer acceso: se orienta a los usuarios según la fecha en la que abrieron la app por primera vez
    • Interacción más reciente con la app: se orienta a los usuarios según la última interacción que tuvieron con la app
  7. En Porcentaje de usuarios de destino, selecciona el porcentaje de la base de usuarios de tu app que coincide con los criterios configurados en Usuarios de destino y que deseas dividir en partes iguales entre el grupo de control y una o más variantes del experimento. Puede ser cualquier porcentaje entre el 0.01% y el 100%. Los porcentajes se vuelven a asignar de forma aleatoria a los usuarios para cada experimento, incluidos los experimentos duplicados.

  8. En la sección Variantes, configura un mensaje de referencia desde la app para enviarlo al grupo de control mediante la interfaz de diseño de mensajes que se usa para una campaña normal de mensajes desde la app.

  9. Para agregar una variante al experimento, haz clic en Agregar variante. Según la configuración predeterminada, los experimentos tienen un grupo de control y una variante.

  10. Paso opcional: Ingresa un nombre para cada variante del experimento que reemplace los nombres Variante A, Variante B, etcétera.

  11. Paso opcional: En la parte superior de la sección Variantes, haz clic en el botón Comparar variantes para comparar una o más versiones con el mensaje de referencia.

  12. En la lista desplegable, elige la métrica objetivo que se usará para evaluar las variantes del experimento y agrega las métricas adicionales que desees. Estas incluyen objetivos integrados (participación, compras, ingresos, retención, etc.), eventos de conversión de Analytics y otros eventos de Analytics.

  13. Cómo configurar la programación del experimento:

    • Establece una fecha de Inicio y una de Finalización para el experimento.
    • Configura cómo se activan los mensajes desde la app en todas las variantes.
  14. Haz clic en Revisar para guardar el experimento.

Se permiten hasta 300 experimentos por proyecto, que pueden incluir hasta 24 experimentos en ejecución, mientras que el resto está en borrador o completado.

Valida el experimento en un dispositivo de prueba

Puedes recuperar el token de autenticación asociado a cada instalación de Firebase. Puedes usar este token para probar variantes de experimento específicas en un dispositivo de prueba que tenga instalada tu app. Para validar el experimento en un dispositivo de prueba, haz lo siguiente:

  1. Obtén el token de autenticación de la instalación de la siguiente manera:

    Swift

    Installations.installations().authTokenForcingRefresh(true, completion: { (result, error) in
      if let error = error {
        print("Error fetching token: \(error)")
        return
      }
      guard let result = result else { return }
      print("Installation auth token: \(result.authToken)")
    })
    

    Objective‑C

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                                   completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
      if (error != nil) {
        NSLog(@"Error fetching Installation token %@", error);
        return;
      }
      NSLog(@"Installation auth token: %@", [result authToken]);
    }];
    

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
            .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
        @Override
        public void onComplete(@NonNull Task<InstallationTokenResult> task) {
            if (task.isSuccessful() && task.getResult() != null) {
                Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
            } else {
                Log.e("Installations", "Unable to get Installation auth token");
            }
        }
    });

    Kotlin+KTX

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */ true)
        .addOnCompleteListener { task ->
            if (task.isSuccessful) {
                Log.d("Installations", "Installation auth token: " + task.result?.token)
            } else {
                Log.e("Installations", "Unable to get Installation auth token")
            }
        }
  2. En la barra de navegación de Firebase console, haz clic en A/B Testing.
  3. Haz clic en Borrador (o En ejecución para experimentos de Remote Config), coloca el cursor sobre el experimento, haz clic en el menú contextual () y, luego, en Administrar dispositivos de prueba.
  4. Ingresa el token de autenticación de instalación de un dispositivo de prueba y elige la variante de experimento que se enviará a ese dispositivo.
  5. Ejecuta la app y confirma que el dispositivo de prueba reciba la variante seleccionada.

Para obtener más información sobre las instalaciones de Firebase, consulta Administra las instalaciones de Firebase.

Administra el experimento

Si creas un experimento con Remote Config, el Compositor de Notifications o los Mensajes desde la app de Firebase, puedes validar y comenzar el experimento, supervisarlo mientras se ejecuta y aumentar la cantidad de usuarios incluidos en él.

Una vez finalizado el experimento, puedes tomar nota de la configuración de la variante ganadora y luego implementarla para todos los usuarios. También tienes la posibilidad de ejecutar otro experimento.

Inicia un experimento

  1. En la sección Participación de la barra de navegación de Firebase console, haz clic en A/B Testing.
  2. Haz clic en Borrador y, luego, en el título del experimento.
  3. Para validar que tu app tenga usuarios que se incluirían en el experimento, expande los detalles del borrador y verifica si hay una cantidad mayor que el 0% en la sección Segmentación y distribución (por ejemplo, el 1% de los usuarios coincide con los criterios).
  4. Para modificar el experimento, haz clic en Editar.
  5. Para comenzar, haz clic en Iniciar experimento. Puedes ejecutar hasta 24 experimentos por proyecto a la vez.

Supervisa un experimento

Después de que el experimento se ejecute por un tiempo, podrás verificar el progreso y ver los resultados para los usuarios que participaron hasta ahora.

  1. En la sección Participación de la barra de navegación de Firebase console, haz clic en A/B Testing.
  2. Haz clic en En ejecución y, luego, en el título del experimento. En esta página, puedes ver varias estadísticas observadas y modeladas sobre el experimento en ejecución, incluidas las siguientes:

    • Diferencia de porcentaje del valor de referencia: medida de la mejora de una métrica para una variante dada en comparación con el valor de referencia (o grupo de control). Se calcula comparando el rango de valores para la variante y el rango de valores para el punto de referencia.
    • Probabilidad de superar el valor de referencia: probabilidad estimada de que una variante dada supere el valor de referencia para la métrica seleccionada.
    • observed_metric por usuario: se calcula a partir de los resultados del experimento y corresponde al rango predicho en el que caerá el valor de la métrica con el tiempo.
    • observed_metric total: valor acumulado que se observa para la variante o el grupo de control. El valor se usa para medir el rendimiento de cada variante del experimento y calcular la mejora, el rango de valores, la probabilidad de superar el valor de referencia y la probabilidad de ser la mejor variante. Según la métrica que se mida, esta columna podría tener la etiqueta “Duración por usuario”, “Ingresos por usuario”, “Tasa de retención” o “Porcentaje de conversiones”.
  3. Después de que se ejecuta el experimento por un tiempo (al menos 7 días en el caso de los Mensajes desde la app y FCM, o 14 días para Remote Config), los datos de esta página indican qué variante es la “líder” (si hay alguna). Algunas mediciones incluyen un gráfico de barras que presenta los datos de manera visual.

Lanza un experimento para todos los usuarios

Después de que un experimento se ejecuta por un tiempo suficiente para encontrar una variante "líder" o ganadora para la métrica objetivo, puedes implementar el experimento en la totalidad de los usuarios. Esto te permite seleccionar una variante y publicarla para todos los usuarios en el futuro. Incluso si no se consiguió una variante ganadora clara por medio del experimento, puedes implementar una variante en todos los usuarios.

  1. En la sección Participación de la barra de navegación de Firebase console, haz clic en A/B Testing.
  2. Haz clic en Completados o En ejecución y selecciona el experimento que quieres implementar para todos los usuarios. Luego, haz clic en el menú contextual () y elige Implementar variante.
  3. Para implementar el experimento en todos los usuarios, sigue uno de estos métodos:

    • En el caso de un experimento que usa el Compositor de Notifications, utiliza el diálogo Lanzar mensaje para enviar el mensaje a los usuarios de destino restantes que no formaban parte del experimento.
    • En el caso de un experimento de Remote Config, selecciona una variante a fin de determinar qué valores de parámetros de Remote Config se deben actualizar. Los criterios de orientación definidos cuando se creó el experimento se agregan como una condición nueva en tu plantilla para garantizar que el lanzamiento solo afecte a los usuarios a los que se orienta el experimento. Después de hacer clic en Revisar en Remote Config para ver las modificaciones, haz clic en Publicar cambios a fin de completar el lanzamiento.
    • En el caso de un experimento de Mensajes desde la app, usa el diálogo para determinar qué variante debe lanzarse como una campaña independiente de Mensajes desde la app. Cuando la selecciones, se te redireccionará a la pantalla de redacción de FIAM para realizar cambios (si es necesario) antes de publicar.

Expande un experimento

Si descubres que un experimento no atrae a suficientes usuarios a A/B Testing como para determinar un liderazgo, puedes aumentar la distribución del experimento con el fin de alcanzar a un porcentaje mayor de la base de usuarios de la app.

  1. En la sección Participación de la barra de navegación de Firebase console, haz clic en A/B Testing.
  2. Selecciona el experimento en ejecución que quieres editar.
  3. En la descripción general del experimento, haz clic en el menú contextual () y, luego, en Editar experimento en ejecución.
  4. El diálogo Segmentación muestra una opción para aumentar el porcentaje de usuarios incluidos en el experimento en ejecución. Selecciona una cantidad mayor que el porcentaje actual y haz clic en Publicar. Se enviará el experimento al porcentaje de usuarios especificado.

Duplica o detén un experimento

  1. En la sección Participación de la barra de navegación de Firebase console, haz clic en A/B Testing.
  2. Haz clic en Completados o En ejecución y coloca el cursor sobre el experimento. Luego, haz clic en el menú contextual () y elige Duplicar experimento o Detener experimento.

Segmentación a usuarios

Puedes elegir los usuarios que incluirás en el experimento con los siguientes criterios de segmentación a usuarios:

Criterio de segmentación Operadores Valores Nota
Versión contiene,
no contiene,
coincide exactamente con,
contiene la regex
Ingresa un valor para una o más versiones de la app que deseas incluir en el experimento.

Cuando usas los operadores contiene, no contiene o coincide exactamente con, puedes proporcionar una lista de valores separados por comas.

Cuando usas el operador contiene la expresión regular, puedes crear expresiones regulares en formato RE2. La expresión regular puede buscar una coincidencia total o parcial en la string de la versión objetivo. También puedes usar los delimitadores ^$ para buscar coincidencias en el principio, el final o la totalidad de la string objetivo.

Públicos de usuarios incluye todos los elementos de,
incluye al menos un elemento de,
no incluye ningún elemento de,
no incluye, al menos, un elemento de
Selecciona uno o más públicos de Analytics para elegir a los usuarios del experimento.  
Propiedad del usuario Para texto:
contiene,
no contiene,
coincide exactamente,
contiene la expresión regular

Para números:
<, ≤, =, ≥, >
Las propiedades del usuario de Analytics se usan para seleccionar a quienes participarán en el experimento, con diversas opciones que permiten elegir los valores de propiedades del usuario.

En el cliente, puedes configurar solo valores de strings para las propiedades del usuario. En el caso de las condiciones que usan operadores numéricos, el servicio de Remote Config convierte el valor de la propiedad de usuario correspondiente en un número entero o de punto flotante.
Cuando usas el operador contiene la expresión regular, puedes crear expresiones regulares en formato RE2. La expresión regular puede buscar una coincidencia total o parcial en la string de la versión objetivo. También puedes usar los delimitadores ^$ para buscar coincidencias en el principio, el final o la totalidad de la string objetivo.
Predicción N/A Grupos de usuarios de destino definidos por Firebase Predictions. Por ejemplo, usuarios que probablemente dejarán de usar la app o usuarios que es posible que hagan una compra directa desde la app. Selecciona uno de los valores que define la herramienta de Firebase Predictions. Si una opción no está disponible, es posible que debas visitar la sección Predictions de Firebase console para habilitar Firebase Predictions.  
País del dispositivo N/A Uno o más países o regiones que se usan para seleccionar a los usuarios del experimento.  
Idioma del dispositivo N/A Uno o más idiomas y configuraciones locales que se usan para seleccionar a los usuarios del experimento. Este criterio de orientación solo está disponible para Remote Config.
Primer acceso mayor que
menor que
entre
Se orienta a los usuarios según la primera vez en la que abrieron la app y se especifica en días. Este criterio de orientación solo está disponible para Mensajes desde la app de Firebase.
Interacción más reciente con la app mayor que
menor que
entre
Se orienta a los usuarios según la última ocasión en la que interactuaron con la app y se especifica en días. Este criterio de orientación solo está disponible para Mensajes desde la app de Firebase.

Métricas de A/B Testing

Cuando crees el experimento, selecciona una métrica para comparar las variantes. También puedes elegir otras métricas para hacer un seguimiento que te permita comprender mejor cada variante y detectar los efectos secundarios importantes (como las fallas de la app). En las siguientes tablas, se proporciona información sobre la forma en que se calculan las métricas objetivo y otras métricas.

Métricas objetivo

Métrica Descripción
Retención (1 día) Cantidad de usuarios que vuelven a la app por día.
Retención (de 2 a 3 días) Cantidad de usuarios que vuelven a la app en un período de 2 a 3 días.
Retención (de 4 a 7 días) Cantidad de usuarios que vuelven a la app en un período de 4 a 7 días.
Retención (de 8 a 14 días) Cantidad de usuarios que vuelven a la app en un período de 8 a 14 días.
Retención (15 días o más) Cantidad de usuarios que vuelven a la app 15 días o más después de la última vez que la usaron.
Notificación abierta Hace un seguimiento para saber si el usuario abre la notificación que recibió del Compositor de Notifications.
Ingresos por compras Valor combinado para todos los eventos ecommerce_purchase y in_app_purchase
Ingresos estimados de AdMob Ingresos estimados de AdMob.
Ingresos totales estimados Valor combinado de los ingresos por compras y los ingresos estimados de AdMob.
first_open Evento de Analytics que se activa cuando un usuario abre una app por primera vez después de instalarla o reinstalarla. Se usa como parte de un embudo de conversión.
notification_open Evento de Analytics que se activa cuando un usuario abre una notificación enviada por el Compositor de Notifications. Se usa como parte de un embudo de conversión.

Otras métricas

Métrica Descripción
Usuarios que no experimentaron fallas Porcentaje de usuarios de la app que no experimentaron errores que detectó el SDK de Firebase Crashlytics durante el experimento.
notification_dismiss Evento de Analytics que se activa cuando se descarta una notificación enviada por el Compositor de Notifications (solo en Android).
notification_receive Evento de Analytics que se activa cuando se recibe una notificación enviada por el Compositor de Notifications mientras la app se ejecuta en segundo plano (solo en Android).
os_update Evento de Analytics que hace un seguimiento para saber cuándo el sistema operativo del dispositivo se actualiza a una nueva versión (para obtener más información, consulta Eventos recopilados automáticamente)
screen_view Evento de Analytics que hace un seguimiento de las pantallas visitadas dentro de la app (para obtener más información, consulta Realiza seguimientos de las vistas de pantallas)
session_start Evento de Analytics que cuenta las sesiones de usuario en la app (para obtener más información, consulta Eventos recopilados automáticamente)
user_engagement Evento de Analytics que se activa de forma periódica mientras la app se ejecuta en primer plano. Para obtener más información, consulta Eventos recopilados automáticamente