Se você executa os testes pelo console do Firebase ou pela CLI do Firebase, é possível encontrar o resultado detalhado do teste no console do Firebase. Continue a leitura para aprender a analisar os resultados dos seus testes.
Ver os resultados dos testes
Depois de fazer upload ou selecionar um teste e especificar seus dispositivos de teste, é possível visualizar um resumo dos resultados, incluindo registros, vídeos e capturas de tela, no painel do Test Lab do Console do Firebase. Os resultados brutos do teste também são armazenados em um bucket do Google Cloud para facilitar o uso com sistemas de CI.
Para conferir os resultados do teste, acesse a seção Test Lab do console do Firebase.
Você encontrará uma lista de todos os seus testes anteriores. Para entender os resultados, é útil saber um pouco sobre as matrizes de teste. Ao executar um teste ou um conjunto de casos de teste em relação aos dispositivos e configurações selecionados, o Test Lab executa o teste em lote em seu app e exibe os resultados como uma matriz de teste.
Dispositivos × Execuções de teste = Matriz de teste
- Dispositivo
- Um dispositivo físico ou virtual (somente Android) em que você realiza um teste, como um smartphone, tablet ou wearable. Os dispositivos em uma matriz de teste são identificados por modelo, versão do SO, orientação da tela e localidade (também conhecida como configurações geográficas e de idioma).
- Teste, execução do teste
- Um teste (ou um conjunto de casos de teste) a ser executado em um dispositivo. É possível executar um teste por dispositivo ou, opcionalmente, fragmentar o teste e executar os casos de teste em diferentes dispositivos.
- Matriz de teste
- Contém os status e resultados de teste das execuções do teste. Se alguma execução do teste em uma matriz falhar, a matriz inteira falhará.
Interpretar os resultados da matriz de teste
Se você iniciar seus testes no Console do Firebase, o TEXT 2 o levará diretamente para a matriz de testes em andamento, onde será possível acompanhar o progresso dos testes enquanto eles são feitos. Se você usou a ferramenta de linha de comando, pode seguir o URL que ela fornece para acessar a página da matriz de teste em andamento.
A matriz tem uma linha para cada execução do teste que o Test Lab executa. O ícone antes do nome da execução exibe o status dela:
- play_circle_outline Em andamento: o teste ainda está em execução. As execuções podem levar até uma hora para serem concluídas, dependendo do número e da complexidade dos testes no seu app.
- check_circle Aprovado: nenhum dos testes executados falhou.
- warning Reprovado: pelo menos um dos testes executados apresentou falha.
- erro Inconclusivo: os resultados do teste foram inconclusivos, possivelmente devido a um erro no Test Lab.
- block Ignorado: Test Lab ignorou seu teste porque a combinação de dispositivo/versão do SO selecionada está indisponível.
Como interpretar resultados de uma única execução de teste
Na página de resultados da matriz, clique em uma das execuções de teste para ver o resultado dela.
A página mostra as estatísticas dessa execução de teste, incluindo problemas encontrados nos testes, uma lista de casos de teste, registros da execução e um vídeo do teste em execução.
Resultados detalhados do teste
Os resultados detalhados dos testes estão disponíveis em um bucket do Google Cloud Storage por 90 dias. Clique em Exibir arquivos de origem em uma página de resultados de execução do teste para ver o bucket.
Para armazenar os resultados detalhados do teste por mais de 90 dias, envie-os para um bucket do Cloud Storage mais permanente de sua propriedade usando a opção --results-bucket da linha de comando gcloud. Em seguida, é possível definir a configuração de Idade para determinar por quanto tempo o Cloud Storage armazena os resultados. Para mais informações sobre como alterar a configuração de Idade, consulte Condições de ciclo de vida.