Como analisar os resultados do teste

Se você executar seus testes usando o Console do Firebase ou a CLI do Firebase, será possível encontrar os resultados detalhados no Console do Firebase. Continue a leitura para aprender a analisar os resultados dos seus testes.

Ver os resultados dos testes

Depois de fazer upload ou selecionar um teste e especificar seus dispositivos de teste, é possível visualizar um resumo dos resultados, incluindo registros, vídeos e capturas de tela, no painel do Test Lab do Console do Firebase. Os resultados brutos do teste também são armazenados em um bucket do Google Cloud para facilitar o uso com sistemas de CI.

Para ver os resultados do teste, navegue até a seção Test Lab do Console do Firebase.

Você encontrará uma lista de todos os seus testes anteriores. Para entender os resultados, é útil saber um pouco sobre as matrizes de teste. Ao executar um teste ou um conjunto de casos de teste em relação aos dispositivos e configurações selecionados, o Test Lab executa o teste em lote em seu app e exibe os resultados como uma matriz de teste.

Dispositivos × Execuções de teste = Matriz de teste

Dispositivo
Um dispositivo físico ou virtual (somente Android) em que você realiza um teste, como um smartphone, tablet ou wearable. Os dispositivos em uma matriz de teste são identificados por modelo, versão do SO, orientação da tela e localidade (também conhecida como configurações geográficas e de idioma).
Teste, execução do teste
Um teste (ou um conjunto de casos de teste) a ser executado em um dispositivo. É possível executar um teste por dispositivo ou, opcionalmente, fragmentar o teste e executar os casos de teste em diferentes dispositivos.
Matriz de teste
Contém os status e resultados de teste das execuções do teste. Se alguma execução do teste em uma matriz falhar, a matriz inteira falhará.

Interpretar os resultados da matriz de teste

Se você iniciar seus testes no Console do Firebase, o Test Lab o levará diretamente para a matriz de testes em andamento, onde será possível acompanhar o progresso dos testes enquanto eles são feitos. Se você usou a ferramenta de linha de comando, pode seguir o URL que ela fornece para acessar a página da matriz de teste em andamento.

A matriz tem uma linha para cada execução de teste do Test Lab. O ícone antes do nome da execução exibe o status dela:

  • play_circle_outline Em andamento: o teste ainda está em execução. As execuções podem levar até uma hora para serem concluídas, dependendo do número e da complexidade dos testes no seu app.
  • check_circle Aprovado: nenhum dos testes executados falhou.
  • warning Reprovado: pelo menos um dos testes executados apresentou falha.
  • error Inconclusivo: os resultados do teste foram inconclusivos, possivelmente devido a um erro no Test Lab.
  • block Ignorado: o Test Lab ignorou seu teste porque a combinação de dispositivo/versão do SO selecionada está indisponível.

Como interpretar resultados de uma única execução de teste

Na página de resultados da matriz, clique em uma das execuções de teste para ver o resultado dela.

A página mostra as estatísticas dessa execução de teste, incluindo problemas encontrados nos testes, uma lista de casos de teste, registros da execução e um vídeo do teste em execução.

Resultados detalhados do teste

Os resultados detalhados dos testes estão disponíveis em um bucket do Google Cloud Storage por 90 dias. Clique em Exibir arquivos de origem em uma página de resultados de execução de teste para ver o bucket.

Para armazenar os resultados detalhados do teste por mais de 90 dias, envie-os para um bucket do Cloud Storage mais permanente de sua propriedade usando a opção --results-bucket da linha de comando gcloud. Em seguida, defina a configuração Idade para determinar por quanto tempo o Cloud Storage armazena os resultados. Para mais informações sobre como alterar a configuração de Idade, consulte Condições de ciclo de vida.