Como analisar os resultados do teste

Se você executar seus testes por meio do Console do Firebase ou da Firebase CLI, será possível encontrar os resultados detalhados no Console do Firebase. Continue a leitura para aprender a analisar os resultados dos seus testes.

Principais conceitos

Para ver os resultados do teste, navegue até a seção Test Lab do Console do Firebase.

Você encontrará uma lista de todos os seus testes anteriores. Para entender os resultados, é útil saber um pouco sobre as matrizes de teste: Dispositivos × Execuções de teste = Matriz de teste

Dispositivo
Dispositivo em que você realiza um teste, como smartphone, tablet ou wearable. Os dispositivos em uma matriz de teste são identificados por modelo, versão do SO, localidade e orientação da tela.
Execução de teste
Uma execução de teste em um dispositivo. Em uma matriz de teste comum, há uma execução de teste por dispositivo selecionado.
Matriz de teste
Um conjunto de execuções de teste. Se alguma execução de teste em uma matriz falhar, o mesmo acontecerá com a matriz inteira.

Interpretar os resultados da matriz de teste

Se você iniciar seus testes no Console do Firebase, o Test Lab o levará diretamente para a matriz de testes em andamento, onde será possível acompanhar o progresso dos testes enquanto eles são feitos. Se você usou a ferramenta de linha de comando, pode seguir o URL que ela fornece para acessar a página da matriz de teste em andamento.

A matriz tem uma linha para cada execução de teste do Test Lab. O ícone antes do nome da execução exibe o status dela:

  • play_circle_outline Em andamento: o teste ainda está em execução. As execuções podem levar até uma hora para serem concluídas, dependendo do número e da complexidade dos testes no seu app.
  • check_circle Aprovado: nenhum dos testes executados falhou.
  • warning Reprovado: pelo menos um dos testes executados apresentou falha.
  • error Inconclusivo: os resultados do teste foram inconclusivos, possivelmente devido a um erro no Test Lab.
  • block Ignorado: o Test Lab ignorou seu teste porque a combinação de dispositivo/versão do SO selecionada está indisponível.

Como interpretar resultados de uma única execução de teste

Na página de resultados da matriz, clique em uma das execuções de teste para ver o resultado dela.

A página mostra as estatísticas dessa execução de teste, incluindo problemas encontrados nos testes, uma lista de casos de teste, registros da execução e um vídeo do teste em execução.

Resultados detalhados do teste

Os resultados detalhados dos testes estão disponíveis em um intervalo do Google Cloud Storage (GCS) por 90 dias. Clique em Exibir arquivos de origem em uma página de resultados de execução de teste para ver o intervalo.

Para armazenar os resultados detalhados do teste por mais de 90 dias, envie-os para um intervalo do GCS mais permanente de sua propriedade por meio da --results-bucket da linha de comando gcloud. Em seguida, é possível definir a configuração de Idade para determinar por quanto tempo o GCS armazena os resultados. Para mais informações sobre como alterar a configuração de Idade, consulte Condições de ciclo de vida.