Analiza los resultados de Firebase Test Lab

Existen varias formas de ejecutar pruebas en tu app para Android con Firebase Test Lab como la interfaz de línea de comandos, Android Studio y la IU de Test Lab en Firebase console. Sin importar cómo decidas comenzar las pruebas, los resultados se almacenan en el proyecto de Firebase que especifiques. Esta página describe cómo revisar y analizar los resultados.

Conceptos clave

Para ver los resultados de todas las ejecuciones de pruebas anteriores, selecciona Test Lab en el panel de navegación izquierdo del proyecto en Firebase console. Esta página muestra todas las ejecuciones de pruebas de las apps que probaste con tu proyecto en Test Lab.

Antes de revisar los resultados de las pruebas, es necesario que comprendas tres conceptos:

Dimensiones de prueba × Ejecuciones de prueba = Matriz de prueba

  • Dimensiones de prueba: atributos del dispositivo con los que realizas pruebas para tu app, como el modelo del dispositivo, versión de SO, configuración regional y orientación de la pantalla.

  • Ejecuciones de prueba: ejecuciones de pruebas individuales. Cada una tiene una combinación única de dimensiones de prueba seleccionadas.

  • Matriz de prueba: los resultados de tus ejecuciones de prueba en las dimensiones de prueba seleccionadas. Si una ejecución de prueba falla en la matriz, Test Lab considera que toda la matriz falló.

Las siguientes secciones explican cómo navegar por los resultados de las pruebas.

Interpreta los resultados del historial de pruebas

Cuando seleccionas Test Lab para navegar a los resultados de pruebas, ves los resultados de las pruebas ejecutadas hasta el momento.

El historial de pruebas se agrupa por app. Solamente se muestran las cinco matrices de prueba más recientes de cada app. Si hay más disponibles, puedes hacer clic en el vínculo Todas las matrices, en la parte inferior de la lista de pruebas de la app, para ver la lista completa de esa app.

Interpreta los resultados de las matrices de prueba

Cuando comiences una prueba en la IU de Test Lab, se te redireccionará a una página donde puedes ver la matriz de prueba y hacer clic en una ejecución de prueba específica para ver sus resultados. Android Studio y el comando gcloud también proporcionan una URL para la página de resultados de la matriz de prueba.

En una matriz de prueba común, puedes ejecutar una prueba en una decena de dispositivos diferentes o más. Cada ejecución de prueba puede tener un resultado diferente. Los resultados posibles para cada ejecución de prueba en una matriz de prueba incluyen los siguientes:

  • Correcta Prueba correcta: No se encontraron errores.
  • Con errores Prueba con errores: Se encontró al menos una falla.
  • No concluyente Prueba correcta: Los resultados de la prueba no fueron concluyentes, posiblemente debido a un error de Test Lab.
  • Omitida Prueba correcta: Los valores de dimensión seleccionados para algunas ejecuciones de prueba en la matriz fueron incompatibles. Esto ocurre si seleccionas dispositivos incompatibles con uno o más de los niveles de la API de Android que seleccionaste.

Para revisar los resultados totales de todas las matrices de prueba de una app determinada en tu proyecto de Firebase, haz clic en el nombre de la app, como se muestra en el siguiente ejemplo:

Ejemplo de página de resultados de una matriz de prueba con solo cuatro ejecuciones de prueba Resultados de la matriz de prueba

Esto te lleva a la lista de matrices de prueba de tu app, en la que puedes hacer clic en el nombre de cualquier matriz para ver los resultados. También puedes hacer clic en el nombre de la app (que se indica en el ejemplo con un cuadro rojo) para ver la lista de matrices de prueba de otras apps asociadas con tu proyecto de Firebase.

Ejemplo de página de lista de matrices de prueba Lista de matrices de prueba

Una matriz de prueba puede realizarse correctamente, presentar errores o no ser concluyente. Se muestra una matriz de prueba “con errores” o “no concluyente” si alguna ejecución de prueba en esa matriz falla o no es concluyente.

Interpreta los resultados de prueba Robo

Si ejecutas tus pruebas con Robo, los resultados incluirán videos y capturas de pantalla del rastreo de tu IU que realizó Robo, además de las métricas de prueba habituales. En esos videos y capturas de pantalla se incluyen indicaciones visuales de las acciones que Robo llevó a cabo durante el rastreo, de manera similar a la función "Mostrar toques" de Android. Estas indicaciones te ayudarán a repetir los pasos que siguió Robo, para que puedas reproducir los errores que se hayan encontrado.

Ejemplo de video con resultados de prueba Robo

Resultados de prueba Robo

Cómo interpretar los resultados de una única ejecución de prueba

En la página de resultados de la matriz de prueba, haz clic en una de las ejecuciones de prueba para ver el resultado de esa ejecución específica.

Ejemplo de página de resultados de una ejecución de prueba Resultados de la ejecución de prueba

En esta página, puedes ver el tiempo que tomó cada ejecución de prueba. También puedes ver los resultados de casos específicos de pruebas que corresponden a métodos de tu APK de prueba (en el caso de las pruebas de instrumentación) y resultados de prueba detallados, incluidos los registros de pruebas, las capturas de pantalla y los videos. En el caso de la prueba Robo, los resultados de prueba detallados también incluyen un mapa de actividad con una representación gráfica de las rutas de acceso de la IU que la prueba Robo visitó.

Métricas de rendimiento

Las pruebas se ejecutan en dispositivos físicos y también muestran métricas de rendimiento:

MétricaConfiguración necesaria del dispositivo
Hora de inicio de la appAPI 19+
Uso de CPUAPI 21+
Uso de memoria
Actividad de la red
Fotogramas por segundoAPI 21+, incluye un SurfaceView
Estadísticas gráficasAPI 23+

Ejemplo de métricas de rendimiento para una ejecución de prueba Resultados de la ejecución de prueba

Resultados de prueba detallados

Los resultados de prueba detallados están disponibles durante 90 días después de ejecutar una prueba y se almacenan en un depósito de Google Cloud Storage (GCS) (pero también se pueden ver en Firebase console). Para ver los resultados de prueba detallados en el depósito de GCS, haz clic en Ver archivos de origen en la página de resultados de la ejecución de prueba. Cuando los resultados de prueba detallados dejan de estar disponibles, puedes seguir viendo qué pruebas se realizaron correctamente o cuáles fallaron.

Para conservar los resultados de prueba detallados durante más de 90 días, debes enviarlos a uno de tus depósitos de GCS con la opción --results-bucket de la línea de comandos de gcloud. A continuación, puedes configurar la Edad para determinar por cuánto tiempo se almacenan los resultados en el depósito de GCS. Consulta las condiciones del ciclo de vida para obtener información sobre cómo cambiar la configuración de Edad.

Enviar comentarios sobre…

¿Necesitas ayuda? Visita nuestra página de asistencia.