Independentemente de você executar seus testes por meio do Firebase console ou da Firebase CLI , você poderá encontrar os resultados detalhados dos testes no Firebase console. Continue lendo para aprender como analisar os resultados do seu teste.
Ver resultados de testes
Depois de fazer upload ou selecionar um teste e especificar seus dispositivos de teste, você poderá visualizar um resumo dos resultados do teste (incluindo registros, vídeos e capturas de tela) no painel do Test Lab do console do Firebase. Os resultados brutos dos testes também são armazenados em um bucket do Google Cloud para facilitar o uso com sistemas de CI.
Para ver os resultados dos testes, vá para a seção Test Lab do console do Firebase .
Você encontrará uma lista de todos os seus testes anteriores lá. Para entender os resultados, é útil saber um pouco sobre matrizes de teste: quando você executa um teste ou um conjunto de casos de teste em dispositivos e configurações selecionados, o Test Lab executa o teste em seu aplicativo em lote e exibe os resultados como uma matriz de teste .
Dispositivos × Execuções de Teste = Matriz de Teste
- Dispositivo
- Um dispositivo físico ou virtual (somente Android) no qual você executa um teste, como um telefone, tablet ou dispositivo vestível. Os dispositivos em uma matriz de teste são identificados por modelo do dispositivo, versão do sistema operacional, orientação da tela e localidade (também conhecida como configurações geográficas e de idioma).
- Teste, execução de teste
- Um teste (ou um conjunto de casos de teste) a ser executado em um dispositivo. Você pode executar um teste por dispositivo ou, opcionalmente, fragmentar o teste e executar seus casos de teste em dispositivos diferentes.
- Matriz de teste
- Contém os status e os resultados dos testes para suas execuções de teste. Se qualquer execução de teste em uma matriz falhar, toda a matriz falhará.
Interpretar resultados da matriz de teste
Se você iniciar seus testes no Firebase Console, o Test Lab levará você diretamente para a matriz de testes em andamento, onde você poderá acompanhar o progresso dos seus testes conforme ele acontece. Se você usou a ferramenta de linha de comando, poderá seguir o URL fornecido para acessar a página da matriz de teste em andamento.
A matriz possui uma linha para cada execução de teste que o Test Lab executa. O ícone antes do nome da execução exibe o status dessa execução:
- play_circle_outline Em andamento: a execução do teste ainda está em execução. As execuções podem levar até uma hora para serem concluídas, dependendo do número e da complexidade dos testes no seu aplicativo.
- check_circle Aprovado: Nenhum dos testes de execução falhou.
- warning Failed: Pelo menos um dos testes de execução falhou.
- erro Inconclusivo: Os resultados do teste foram inconclusivos, possivelmente devido a um erro do Test Lab.
- bloco ignorado: o Test Lab ignorou seu teste porque a combinação de dispositivo/versão do sistema operacional selecionada não está disponível.
Interpretando resultados de uma única execução de teste
Na página de resultados da matriz de teste, clique em uma das execuções de teste para ver o resultado dessa execução de teste específica.
A página mostra estatísticas da execução do teste, incluindo problemas encontrados nos testes, uma lista de casos de teste, logs da execução e um vídeo da execução do teste.
Resultados detalhados dos testes
Os resultados detalhados dos testes ficam disponíveis em um intervalo do Google Cloud Storage por 90 dias. Clique em Exibir arquivos de origem em uma página de resultados de execução de teste para ver o bucket.
Para reter resultados de testes detalhados por mais de 90 dias, envie-os para um bucket mais permanente do Cloud Storage de sua propriedade usando a opção de linha de comando --results-bucket gcloud . Você pode então definir a configuração Idade para determinar por quanto tempo o Cloud Storage armazena os resultados. Para obter mais informações sobre como alterar a configuração Idade , consulte Condições do ciclo de vida .