En esta guía, se proporciona información sobre los conceptos clave relacionados con los lanzamientos de Remote Config, por lo que podrás hacer lo siguiente:
- Comprende cómo funciona la pertenencia a grupos de lanzamiento.
- Aprende cuándo usar un lanzamiento y cuándo usar una prueba A/B.
- Obtén información para interpretar los resultados del lanzamiento.
Información sobre la pertenencia a grupos de lanzamiento
Cuando creas un nuevo lanzamiento y asignas un porcentaje, Firebase coloca una porción del mismo tamaño de tu público en un grupo de control para obtener resultados precisos cuando comparas el rendimiento de la función habilitada, lo que genera los siguientes grupos.
- Habilitado: Los dispositivos de usuario asignados a este grupo reciben el valor que configuras en el lanzamiento.
- Control: Los dispositivos de usuarios asignados a este grupo reciben el valor que de otro modo habrían recibido de Remote Config, no del valor de lanzamiento.
- Sin asignar: Los dispositivos de los usuarios de este grupo recibirán el valor que, de lo contrario, recibirían de Remote Config, pero no se usan en los resultados de comparación del lanzamiento.
Es decir, si lanzas la app para un 2% de tus usuarios, estos se agregarán al estado y un 2% adicional de tus usuarios se agregan al grupo de rendimiento, que se usa para comparar. El 96% de tus usuarios permanecen en el grupo Sin asignar.
Este enfoque garantiza una comparación justa entre el rendimiento de los usuarios y los que reciben el valor del lanzamiento y los que no, y te permite determinar de manera eficaz el éxito o el fracaso del lanzamiento en la página de resultados.
La asignación de los grupos de lanzamiento es coherente en todas las fases de un lanzamiento. Es decir, dentro del mismo lanzamiento, si reduces el porcentaje al 0%, todos los usuarios volverán a recibir el valor del parámetro definido en la plantilla de Remote Config. Si luego decides aumentar el porcentaje del lanzamiento, los usuarios que forman parte de los grupos habilitados o de control anteriores regresarán al grupo al que se asignaron originalmente y recibirán valores coherentes con esos grupos.
Cuando hayas verificado que tu versión es exitosa y decidas lanzar la app por completo al 100% de los usuarios objetivo, Firebase ya no usa el grupo de control y todos los usuarios y dispositivos objetivo reciben el valor del lanzamiento.
¿Cuándo usar un lanzamiento y cuándo usar una prueba A/B?
Los lanzamientos de Remote Config y A/B Testing son apropiados para casos de uso ligeramente diferentes y se pueden usar de manera complementaria.
Los lanzamientos son graduales y, a menudo, se usan para lanzar funciones nuevas a un grupo selecto de usuarios. Recomendamos que te orientes a usuarios de un país específico o usar una versión específica de tu app. Usa lanzamientos para mitigar el riesgo, para probar nuevas funciones en un entorno real, con controles estrictos, para que puedas ver su rendimiento. También puedes supervisar el rendimiento de los servicios de backend con la carga adicional de la nueva función y el uso aproximado para garantizar que el cambio sea escalable antes de lanzarlo a un público más amplio.
Los lanzamientos son herramientas excelentes para situaciones en las que implementas características nuevas que cambian significativamente la funcionalidad, cambios que pueden provocar resultados impredecibles o cambios que pueden afectar la infraestructura de backend servicios o APIs externas.
A/B Testing te permite hacer lo siguiente: presentar varias versiones de una función o un elemento de la app, por ejemplo, actualizar el aspecto de la IU, cambiar el texto publicitario, actualizar la dificultad del nivel del juego. Luego, puedes exponerles diferentes variaciones a los usuarios para que aprendan qué opción genera mejores resultados según la métrica elegida (como la cantidad la participación, los clics en los anuncios y los ingresos).
Usa A/B Testing para la toma de decisiones basada en datos, la optimización y para entender las preferencias de los usuarios. Es perfecto para situaciones en las que tienes varias opciones comparables y objetivos muy específicos. Por ejemplo: A/B Testing es adecuado para los cambios en los que deseas ajustar tu app para mejorar una métrica específica, como probar qué posición de anuncios en forma de banner generan más clics.
También es buena idea combinar los lanzamientos de Remote Config y A/B Testing en una estrategia general: Primero, crea una prueba A/B con un conjunto limitado de usuarios para determinar la variante que produce los mejores resultados para tus métricas clave. Luego, una vez que A/B Testing determine un líder, crea un lanzamiento con la variante ganadora. Supervisa su estabilidad y métricas clave mientras aumentas progresivamente la cantidad de usuarios expuestos y, después de que confies en su rendimiento, impleméntalo al 100%.
Comprende los resultados del lanzamiento
Después de publicar un lanzamiento, deberías comenzar a ver resultados casi de inmediato.
Puedes ver los resultados de varias maneras:
- En la página Parámetros, expande el parámetro que configuraste para el lanzamiento y, debajo del lanzamiento, haz clic en Ver resultados.
- En la página Lanzamientos, haz clic en el nombre del lanzamiento.
El selector de aplicaciones en la parte superior de la página Resultados te permite seleccionar las vistas para las apps específicas. Los resultados se dividen en varias secciones:
- La sección Resumen, en la que se muestra el Porcentaje del lanzamiento configurado y brinda la capacidad de revertir o editar el lanzamiento. Cuando se expande, muestra una Descripción general de los detalles de configuración del lanzamiento y el historial de cambios.
En la sección Usuarios, se muestra la cantidad de instalaciones de apps únicas que recuperaron una plantilla de lanzamiento en los siguientes grupos:
- Habilitado: Cantidad de instancias de app que coinciden con el lanzamiento objetivo y que recuperaron el valor del lanzamiento.
- Control: Cantidad de instancias de app que coinciden con la condición del lanzamiento objetivo y que recuperaron el valor sin cambios.
- Objetivo: Cantidad total estimada de instancias que coinciden con la condición que estableciste en el lanzamiento, que debería recibir el lanzamiento o un valor inalterado.
Más información en Comprende la pertenencia a grupos de lanzamiento.
Las secciones Crashlytics y Analytics, en las que se muestran datos comparativos para los grupos Habilitado y Control. Puedes filtrar los datos recopilados de las Últimas 24 horas, Desde la última publicación o los Últimos 7 días. La vista predeterminada es Últimas 24 horas.
Resultados de Crashlytics sobre los lanzamientos
Puedes ver la cantidad total de fallas, errores recuperables y ANR que sucedieron durante el lanzamiento. Cada categoría de resultado muestra un gráfico de barras que compara los totales sin procesar de los usuarios Enabled y Control que cumplieron con la condición del lanzamiento.
- Fallas: Muestra la cantidad y el porcentaje de fallas y la cantidad de usuarios únicos que experimentaron fallas en los grupos Enabled y de Control.
- Errores recuperables: Muestra la cantidad y el porcentaje de errores recuperables, así como la cantidad de usuarios únicos que experimentaron errores recuperables.
- ANR (solo en apps para Android): muestra la cantidad y el porcentaje de eventos de "La aplicación no responde", así como la cantidad de usuarios únicos que experimentaron uno o más eventos de ANR.
Para obtener información más detallada sobre las fallas, puedes hacer clic en Ver más en Crashlytics. Se abrirá la página de Crashlytics con un filtro activo para el lanzamiento cuyos resultados inspeccionaste. El resultado del lanzamiento en la página de Crashlytics mide a todos los usuarios que nunca estuvieron expuestos a la variante correspondiente: Habilitado o Control. Puedes elegir ver las fallas del grupo Control, las de Enabled o ambas.
Resultados de Google Analytics sobre los lanzamientos
En la sección de resultados de lanzamiento de Google Analytics, se comparan en detalle y en vistas de gráfico las métricas de Analytics de todos los usuarios que alguna vez estuvieron expuestos a los grupos Control o Habilitado. Se proporcionan tres métricas:
- Ingresos totales: Muestra el importe total de los ingresos, incluidos los ingresos publicitarios y los ingresos por compras, en USD. Puedes filtrar los resultados para mostrar resultados específicos de Ingresos publicitarios o Ingresos por compras.
- Conversiones totales: Muestra el recuento sin procesar de la suma de todos los eventos de conversión. Puedes filtrar los resultados según la conversión que deseas destacar.
- Tiempo de participación total: Muestra el tiempo de participación total que tus usuarios invirtieron en una de las variantes del lanzamiento. Se muestra el tiempo de participación total en el formato Horas:Minutos:Segundos. Por ejemplo, 01:31:28. El gráfico muestra los datos del período que seleccionaste arriba de la sección de Crashlytics.