테스트 결과 분석

Firebase Console 또는 Firebase CLI를 통해 테스트를 실행하면 Firebase Console에서 자세한 테스트 결과를 확인할 수 있습니다. 테스트 결과를 분석하는 방법에 대해 읽어보시기 바랍니다.

테스트 결과 보기

테스트를 업로드하거나 선택하고 테스트 기기를 지정하면 Firebase Console의 Test Lab 대시보드에서 테스트 결과 요약(로그, 동영상, 스크린샷 포함)을 확인할 수 있습니다. 원시 테스트 결과는 CI 시스템에서 더 쉽게 사용할 수 있도록 Google Cloud 버킷에 저장됩니다.

테스트 결과를 보려면 Firebase ConsoleTest Lab 섹션으로 이동합니다.

이전 테스트 실행 목록 전체를 확인할 수 있습니다. 테스트 매트릭스에 대한 사전 지식이 있으면 결과를 보다 쉽게 이해할 수 있습니다. 선택한 기기 및 구성에 대한 테스트 또는 테스트 사례 조합을 실행하면 Test Lab에서 앱에 대한 테스트를 일괄적으로 실행한 후 그 결과를 테스트 매트릭스에 표시합니다.

기기 × 테스트 실행 = 테스트 매트릭스

기기
테스트를 실행하는 실제 또는 가상 기기(Android만 해당)는 스마트폰, 태블릿 또는 웨어러블 기기 등입니다. 테스트 매트릭스의 기기는 기기 모델, OS 버전, 화면 방향, 언어(지역 및 언어 설정이라고도 함)를 기준으로 구분됩니다.
테스트, 테스트 실행
기기에서 테스트(또는 테스트 사례 조합)를 실행합니다. 테스트를 기기당 하나씩 실행하거나 원하는 경우 테스트를 샤딩하여 다양한 기기에서 테스트 사례를 실행할 수도 있습니다.
테스트 매트릭스
테스트 실행의 상태 및 테스트 결과를 포함합니다. 매트릭스에 포함된 테스트 실행이 한 개라도 실패하면 전체 매트릭스가 실패로 표시됩니다.

테스트 매트릭스 결과 해석

Firebase Console에서 테스트를 시작하면 Test Lab에서 진행 중인 테스트 매트릭스로 이동하여 테스트 진행 상황을 볼 수 있습니다. 명령줄 도구를 대신 사용한 경우 제공된 URL을 따라 진행 중인 테스트 매트릭스 페이지로 이동할 수 있습니다.

매트릭스에는 Test Lab에서 실행되는 각 테스트 실행을 위한 줄이 있습니다. 실행 이름 앞에 있는 아이콘은 실행 상태를 표시합니다.

  • play_circle_outline 진행 중: 테스트 실행이 진행 중입니다. 앱의 테스트 횟수와 복잡도에 따라 실행을 완료하는 데 최대 한 시간이 걸릴 수 있습니다.
  • check_circle 통과: 실패한 실행 테스트가 없습니다.
  • warning 실패: 한 개 이상의 실행 테스트가 실패했습니다.
  • error 결과 불충분: 테스트 결과가 확실하지 않으며 Test Lab 오류가 원인일 수 있습니다.
  • block 건너뜀: 선택한 기기/OS 버전 조합을 사용할 수 없어서 Test Lab이 테스트를 건너뛰었습니다.

단일 테스트 실행 결과 해석

테스트 매트릭스 결과 페이지에서 테스트 실행 중 하나를 클릭하여 해당 테스트 실행의 결과를 확인합니다.

이 페이지에는 테스트 중 발생한 문제, 테스트 사례 목록, 실행 로그, 실행 중인 테스트의 동영상을 비롯하여 해당 테스트 실행에 대한 통계가 표시됩니다.

자세한 테스트 결과

자세한 테스트 결과는 Google Cloud Storage 버킷에서 90일 동안 확인할 수 있습니다. 테스트 실행 결과 페이지에서 소스 파일 보기를 클릭하여 버킷을 확인합니다.

자세한 테스트 결과를 90일 이상 보관하려면 --results-bucket gcloud 명령줄 옵션을 사용하여 현재 갖고 있는 보다 영구적인 Cloud Storage 버킷으로 테스트 결과를 전송합니다. 그런 다음 수명 설정을 변경하여 Cloud Storage에 결과가 저장되는 기간을 정할 수 있습니다. 수명 설정을 변경하는 방법에 대한 자세한 내용은 수명 주기 조건을 참조하세요.