Si ejecutas tus pruebas a través de Firebase console o Firebase CLI, puedes encontrar los resultados detallados de las pruebas en Firebase console. Continúa leyendo para ver cómo analizar los resultados de las pruebas.
Consulta los resultados de la prueba
Después de subir o seleccionar una prueba y especificar los dispositivos de prueba, puedes ver un resumen de los resultados de las pruebas (incluidos los registros, los videos y las capturas de pantalla) en el panel Test Lab de Firebase console. Los resultados sin procesar de las pruebas también se almacenan en un bucket de Google Cloud para facilitar su uso con los sistemas de CI.
Para ver los resultados de las pruebas, ve a la sección Test Lab de Firebase console.
Encontrarás una lista de todas las pruebas ejecutadas. Para comprender los resultados, resulta útil saber un poco sobre las matrices de pruebas. Cuando ejecutas una prueba o un conjunto de casos de prueba con los dispositivos y los parámetros de configuración que seleccionaste, Test Lab ejecuta la prueba en tu app en un lote y muestra los resultados como una matriz de prueba.
Dispositivos × ejecuciones de prueba = matriz de pruebas
- Dispositivo
- Un dispositivo físico o virtual (solo Android) en el que se ejecuta una prueba, como un teléfono, una tablet o un dispositivo wearable. En una matriz de pruebas, los dispositivos se identifican por el modelo, la versión del SO, la orientación de la pantalla y la configuración regional (también conocida como configuración geográfica y de idioma) del dispositivo.
- Prueba, ejecución de prueba
- Una prueba (o un conjunto de casos de prueba) que se ejecutará en un dispositivo. Puedes ejecutar una prueba por dispositivo o, de manera opcional, fragmentar la prueba y ejecutar sus casos de prueba en dispositivos diferentes.
- Matriz de pruebas
- Contiene los estados y resultados de las ejecuciones de prueba. Si falla una ejecución de prueba en una matriz, falla toda la matriz.
Interpreta los resultados de las matrices de pruebas
Si comienzas las pruebas en Firebase console, Test Lab te lleva directo a la matriz de pruebas en curso, en la que puedes ver el progreso de las pruebas. Si usas la herramienta de línea de comandos, puedes seguir la URL proporcionada para ir a la página de la matriz de pruebas en curso.
La matriz tiene una línea para cada ejecución de prueba que ejecuta Test Lab. El ícono presente antes del nombre de la ejecución muestra el estado de esta:
- play_circle_outline En curso: La ejecución de prueba todavía está en progreso. Las ejecuciones pueden llegar a tardar una hora en completarse. Esto depende de la cantidad y la complejidad de las pruebas de tu app.
- check_circle Correcta: Ninguna de las pruebas de la ejecución falló.
- warning Con errores: Falló al menos una de las pruebas de la ejecución.
- error No concluyente: Los resultados de la prueba no fueron concluyentes, posiblemente debido a un error de Test Lab.
- block Omitida: Test Lab omitió la prueba, ya que no está disponible la combinación de dispositivo y versión de SO seleccionada.
Interpreta los resultados de una única ejecución de prueba
En la página de resultados de la matriz de pruebas, haz clic en una de las ejecuciones de prueba para ver el resultado de esa ejecución específica.
La página muestra las estadísticas de esa ejecución de prueba, incluidos los problemas encontrados, una lista de casos, registros de la ejecución y un video de la ejecución de la prueba.
Resultados detallados de la prueba
Los resultados detallados de la prueba están disponibles en un bucket de Google Cloud Storage durante 90 días. Haz clic en Ver archivos de origen en una página de resultados de ejecución de prueba para ver el bucket.
Para conservar los resultados detallados de las pruebas por más de 90 días, envíalos a uno de tus buckets de Cloud Storage más permanentes con la opción --results-bucket de la línea de comandos de gcloud. A continuación, puedes configurar el parámetro Age para determinar por cuánto tiempo se almacenan los resultados en el bucket de Cloud Storage. Consulta las Condiciones del ciclo de vida para obtener más información sobre cómo cambiar la configuración de Age.