Ir a la consola

Analiza los resultados de Firebase Test Lab

Existen varias formas de ejecutar pruebas en tu app para Android, como la interfaz de línea de comandos, Android Studio, la IU de Test Lab en Firebase console y la API de Testing. Independientemente de la forma en la que elijas iniciar tus pruebas, los resultados se almacenarán en el proyecto de Firebase que especificaste. Puedes explorar los resultados con la API de ToolResults además de con cualquiera de las herramientas que se mencionaron antes. En esta página, se describe cómo revisar y analizar los resultados.

Conceptos clave

Para ver los resultados de todas las ejecuciones de pruebas anteriores, selecciona Test Lab en el panel de navegación izquierdo del proyecto en Firebase console. Esta página muestra todas las ejecuciones de pruebas de las apps que probaste con tu proyecto en Test Lab.

Antes de revisar los resultados de las pruebas, es necesario que comprendas tres conceptos:

Dimensiones de prueba × Ejecuciones de prueba = Matriz de prueba

  • Dimensiones de prueba: atributos del dispositivo con los que realizas pruebas para tu app, como el modelo del dispositivo, la versión de SO, la configuración regional y la orientación de la pantalla.

  • Ejecuciones de prueba: ejecuciones de pruebas individuales. Cada una tiene una combinación única de las dimensiones seleccionadas.

  • Matriz de prueba: los resultados de las ejecuciones de la prueba en las dimensiones seleccionadas. Si falla una ejecución de prueba en la matriz, Test Lab considera que toda la matriz falló.

Las siguientes secciones explican cómo navegar por los resultados de las pruebas.

Interpreta los resultados del historial de pruebas

Cuando seleccionas Test Lab para navegar a los resultados de pruebas, verás los resultados de las pruebas ejecutadas hasta el momento.

El historial de pruebas se agrupa por app. Solamente se muestran las cinco matrices de prueba más recientes de cada app. Si hay más disponibles, puedes hacer clic en el vínculo Todas las matrices, en la parte inferior de la lista de pruebas de la app, para ver la lista completa de esa app.

Interpreta los resultados de las matrices de prueba

Cuando comiences una prueba en la IU de Test Lab, se te redireccionará a una página donde puedes ver la matriz de prueba y hacer clic en una ejecución de prueba específica para ver sus resultados. Android Studio y el comando de gcloud también proporcionan una URL para la página de resultados de la matriz de prueba.

En una matriz de prueba común, puedes ejecutar una prueba en una decena de dispositivos diferentes o más. Cada ejecución de prueba puede tener un resultado diferente. Los resultados posibles para cada ejecución de prueba en una matriz de prueba incluyen los siguientes:

  • Correcta Prueba correcta: No se encontraron errores.
  • Con errores Prueba con errores: Se encontró al menos un error.
  • No concluyente Prueba correcta: Los resultados de la prueba no fueron concluyentes, posiblemente debido a un error de Test Lab.
  • Omitida Prueba correcta: Los valores de dimensión seleccionados para algunas ejecuciones de prueba en la matriz no eran compatibles. Esto ocurre cuando los dispositivos seleccionados son incompatibles con uno o más niveles de la API de Android que seleccionaste.

Para revisar los resultados de prueba totales de todas las matrices de prueba de una app determinada en tu proyecto de Firebase, haz clic en el nombre de la app, como se muestra en el siguiente ejemplo:

Ejemplo de página de resultados de una matriz de prueba con solo cuatro ejecuciones de prueba Resultados de la matriz de prueba

Esta acción te lleva a la lista de matrices de prueba de la app, en la que puedes hacer clic en el nombre de cualquier matriz de prueba para ver sus resultados. También puedes hacer clic en el nombre de la app (que se indica en el cuadro rojo de más abajo) para ver la lista de matrices de prueba de otras apps asociadas con tu proyecto de Firebase.

Ejemplo de página de lista de matrices de prueba Lista de matrices de prueba

Una matriz de prueba puede estar correcta, tener errores o no ser concluyente. Una matriz de prueba tiene errores o no es concluyente si alguna ejecución de prueba en ella falla o no es concluyente.

Interpreta los resultados de prueba Robo

Si ejecutas tus pruebas con Robo, los resultados incluirán videos y capturas de pantalla del rastreo de tu IU que realizó Robo, además de las métricas de prueba habituales. En esos videos y capturas de pantalla, se incluyen indicaciones visuales de las acciones que Robo llevó a cabo durante el rastreo, de manera similar a la función "Mostrar toques" de Android. Estas indicaciones te ayudarán a repetir los pasos que siguió Robo para que puedas reproducir los errores que se hayan encontrado.

Ejemplo de video con resultados de prueba Robo

Resultados de prueba Robo

Interpreta los resultados de una única ejecución de prueba

En la página de resultados de la matriz de prueba, haz clic en una de las ejecuciones de prueba para ver el resultado de esa ejecución específica.

Ejemplo de página de resultados de una ejecución de prueba Resultados de la ejecución de prueba

En esta página, puedes ver el tiempo que tardó cada ejecución de prueba. También puedes ver los resultados de casos de prueba específicos que corresponden a los métodos de tu APK de prueba (en el caso de las pruebas de instrumentación) y los resultados detallados de las pruebas, como los registros, las capturas de pantalla y los videos. En el caso de la prueba Robo, los resultados detallados de las pruebas también incluyen un mapa de actividad con una representación gráfica de las rutas de acceso de la IU que visitó la prueba Robo.

Resultados de prueba de instrumentación particionada

Para ayudarte a interpretar los resultados de prueba instrumentados, Test Lab separa cada prueba en su propia página de informes detallados, que incluye seguimientos de pila, registros y videos. Esta función se ejecuta sin importar si usas Android Orchestrator.

Ejemplo de página de resultados de casos de prueba Resultados de casos de prueba

Métricas de rendimiento

Las pruebas se ejecutan en dispositivos físicos y también muestran métricas de rendimiento:

MétricaConfiguración necesaria del dispositivo
Hora de inicio de la appAPI 19 o posterior
Uso de CPUAPI 21 o posterior
Uso de memoria
Actividad de la red
Fotogramas por segundoAPI 21 o posterior, incluye una SurfaceView
Rendimiento de gráficosAPI 23 o posterior

Detalles de rendimiento de gráficos

El informe de rendimiento de gráficos contiene estadísticas sobre varias métricas clave de gráficos, como las siguientes:

  • Sincronizaciones verticales perdidas: La cantidad de eventos de sincronizaciones verticales perdidas, dividida por la cantidad de marcos que tardaron más de 16 ms en procesarse
  • Latencia de entrada alta: La cantidad de eventos de entrada que tardaron más de 24 ms, dividida por la cantidad de marcos que tardaron más de 16 ms en procesarse
  • Procesamiento de IU lento: La cantidad de veces que el procesamiento de IU tardó más de 8 ms para finalizar, dividida por la cantidad de marcos que tardaron más de 16 ms en procesarse
  • Comandos de dibujo lentos: La cantidad de veces que el envío de comandos de dibujo a la GPU tardó más de 12 ms, dividida por la cantidad de marcos que tardaron más de 16 ms en procesarse
  • Cargas de mapas de bits lentas: La cantidad de veces que el mapa de bits tardó más de 3.2 ms en subirse a la GPU, dividida por la cantidad de marcos que tardaron más de 16 ms en procesarse
  • Tiempo de procesamiento: La distribución de los tiempos de procesamiento para cada marco de la prueba ejecutada. Los tiempos de procesamiento superiores a 32 ms generan una demora perceptible de la IU, y los superiores a 700 indican marcos congelados. Los datos de procesamiento se recopilan desde dumpsys graphicsstats.

Resultados detallados de la prueba

Los resultados detallados de la prueba están disponibles durante 90 días después de ejecutar una prueba y se almacenan en un depósito de Google Cloud Storage (GCS), pero también se pueden ver en Firebase console. Para ver los resultados de prueba detallados en el depósito de GCS, haz clic en Ver archivos de origen en la página de resultados de la ejecución de prueba. Cuando los resultados de prueba detallados dejan de estar disponibles, puedes seguir viendo qué pruebas se realizaron correctamente o cuáles fallaron.

Para conservar los resultados detallados de las pruebas por más de 90 días, debes enviarlos a uno de tus depósitos de GCS con la opción --results-bucket de la línea de comandos de gcloud. A continuación, puedes configurar la Edad para determinar por cuánto tiempo se almacenan los resultados en el depósito de GCS. Consulta las Condiciones del ciclo de vida para obtener información sobre cómo cambiar la configuración de Edad.