테스트 결과 분석

Firebase Console 또는 Firebase CLI를 통해 테스트를 실행하면 Firebase Console에서 자세한 테스트 결과를 확인할 수 있습니다. 테스트 결과를 분석하는 방법에 대해 읽어보시기 바랍니다.

주요 개념

테스트 결과를 보려면 Firebase ConsoleTest Lab 섹션으로 이동합니다.

이전 테스트 실행 목록 전체를 확인할 수 있습니다. 테스트 매트릭스에 대해 사전 지식이 있으면 결과를 보다 쉽게 이해할 수 있습니다. 기기 × 테스트 실행 = 테스트 매트릭스

기기
전화, 태블릿 또는 웨어러블 기기와 같이 테스트를 실행하는 기기입니다. 테스트 매트릭스의 기기는 기기 모델, OS 버전, 언어, 화면 방향을 기준으로 구분됩니다.
테스트 실행
기기에서 수행되는 테스트 실행입니다. 일반적인 테스트 매트릭스에는 테스트 실행이 선택한 기기당 하나 있습니다.
테스트 매트릭스
일련의 테스트 실행입니다. 매트릭스에 포함된 테스트 실행이 한 개라도 실패하면 전체 매트릭스가 실패로 표시됩니다.

테스트 매트릭스 결과 해석

Firebase 콘솔에서 테스트를 시작하면 Test Lab에서 진행 중인 테스트 매트릭스로 이동하여 테스트 진행 상황을 볼 수 있습니다(진행 중인 테스트가 있는 경우). 명령줄 도구를 대신 사용한 경우 제공된 URL을 따라 진행 중인 테스트 매트릭스 페이지로 이동할 수 있습니다.

매트릭스에는 Test Lab에서 실행되는 각 테스트 실행을 위한 줄이 있습니다. 실행 이름 앞에 있는 아이콘은 실행 상태를 표시합니다.

  • play_circle_outline 진행 중: 테스트 실행이 진행 중입니다. 앱의 테스트 횟수와 복잡도에 따라 실행을 완료하는 데 최대 한 시간이 걸릴 수 있습니다.
  • check_circle 통과: 실패한 실행 테스트가 없습니다.
  • warning 실패: 실행 테스트가 한 개 이상이 실패했습니다.
  • error 결과 불충분: 테스트 결과가 확실하지 않으며 Test Lab 오류가 원인일 수 있습니다.
  • block 건너뜀: 선택한 기기/OS 버전 조합을 사용할 수 없으므로 Test Lab이 테스트를 건너뛰었습니다.

단일 테스트 실행 결과 해석

테스트 매트릭스 결과 페이지에서 테스트 실행 중 하나를 클릭하여 해당 테스트 실행의 결과를 확인합니다.

이 페이지에는 테스트 중 발생한 문제, 테스트 사례 목록, 실행 로그, 실행 중인 테스트의 동영상을 비롯하여 해당 테스트 실행에 대한 통계가 표시됩니다.

자세한 테스트 결과

자세한 테스트 결과는 Google Cloud Storage(GCS) 버킷에서 90일 동안 확인할 수 있습니다. 테스트 실행 결과 페이지에서 소스 파일 보기를 클릭하여 버킷을 확인합니다.

자세한 테스트 결과를 90일 이상 보관하려면 --results-bucket gcloud 명령줄 옵션을 사용하여 테스트 결과를 자신이 소유한 보다 영구적인 GCS 버킷으로 전송합니다. 그런 다음 수명 설정을 변경하여 GCS에 결과가 저장되는 기간을 정할 수 있습니다. 수명 설정을 변경하는 방법에 대한 자세한 내용은 수명 주기 조건을 참조하세요.