在 Firebase 控制台中,您可以依序前往「DevOps & Engagement」>「 Test Lab」,查看先前所有測試執行的結果。這個頁面會顯示您使用 Test Lab 測試專案時,應用程式測試執行的所有詳細結果。這個頁面會顯示透過 Firebase 控制台或 Firebase CLI 執行的測試。
請繼續閱讀,瞭解如何分析測試結果。
查看測試結果
上傳或選取測試並指定測試裝置後,您可以在 Firebase 控制台的 「DevOps & Engagement」 > 「Test Lab」資訊主頁中,查看 測試結果摘要 (包括記錄、影片和螢幕截圖)。原始測試結果也會儲存在 Google Cloud bucket,方便與 CI 系統搭配使用。
您會看到先前所有測試執行的清單。如要瞭解結果,請先瞭解測試矩陣:當您針對所選裝置和設定執行測試或一組測試案例時,Test Lab 會批次執行應用程式測試,然後將結果顯示為測試矩陣。
裝置 × 測試執行 = 測試矩陣
- 裝置
- 執行測試的實體或虛擬裝置 (僅限 Android),例如手機、平板電腦或穿戴式裝置。測試矩陣中的裝置會依裝置型號、OS 版本、螢幕方向和語言代碼 (也稱為地理位置和語言設定) 識別。
- 測試、測試執行
- 在裝置上執行的測試 (或一組測試案例)。您可以在每部裝置上執行一項測試,也可以選擇將測試進行 shard,並在不同裝置上執行測試案例。
- 測試矩陣
- 包含測試執行的狀態和測試結果。如果矩陣中的任何測試執行失敗,整個矩陣都會失敗。
解讀測試矩陣結果
如果您在 Firebase 控制台中啟動測試,Test Lab 會直接帶您前往進行中的測試矩陣,您可以在該處查看測試進度。如果改用指令列工具,可以按照工具提供的網址,前往進行中的測試矩陣頁面。
矩陣會為每次測試執行 Test Lab 執行作業顯示一行。執行作業名稱前的圖示會顯示該執行作業的狀態:
- play_circle_outline 進行中:測試執行作業仍在執行中。視應用程式中的測試數量和複雜程度而定,執行作業最多可能需要一小時才能完成。
- check_circle 通過:執行作業的所有測試均未失敗。
- warning 失敗:執行作業中至少有一項測試失敗。
- error 無法判定:測試結果無法判定,可能是因為 Test Lab 錯誤。
- block Skipped: Test Lab 略過測試,因為所選裝置/OS 版本組合無法使用。
解讀單次測試執行的結果
在測試矩陣結果頁面中,按一下其中一項測試執行,即可查看該項測試執行的結果。
這個頁面會顯示該測試執行的統計資料,包括測試中遇到的問題、測試案例清單、執行記錄,以及測試執行的影片。
詳細測試結果
詳細測試結果會儲存在 Google Cloud Storage bucket 中 90 天。在測試執行結果頁面中,按一下「View Source Files」(查看來源檔案) 即可查看值區。
如要保留詳細測試結果超過 90 天,請使用 --results-bucket gcloud 指令列選項,將測試結果傳送至您擁有的永久 Cloud Storage bucket。接著,您可以調整「Age」(保留期限) 設定,決定 Cloud Storage 儲存結果的時間長度。如要進一步瞭解如何變更「Age」(年齡) 設定,請參閱「生命週期條件」。