分析測試結果

無論您是透過Firebase 控制台還是Firebase CLI運行測試,您都可以在 Firebase 控制台中找到詳細的測試結果。繼續閱讀以了解如何分析您的測試結果。

查看測試結果

上傳或選擇測試並指定測試設備後,您可以在 Firebase 控制台的測試實驗室儀表板中查看測試結果摘要(包括日誌、影片和螢幕截圖)。您的原始測試結果也儲存在 Google Cloud 儲存桶中,以便更輕鬆地與 CI 系統一起使用。

若要查看測試結果,請前往Firebase 控制台測試實驗室部分。

您將在那裡找到之前運行的所有測試的清單。要了解結果,了解一些有關測試矩陣的知識會有所幫助:當您針對所選的設備和配置運行測試或一組測試案例時,測試實驗室會針對您的應用程式批量運行測試,然後顯示結果作為測試矩陣

設備 × 測試執行 = 測試矩陣

裝置
您執行測試的實體或虛擬裝置(僅限 Android),例如手機、平板電腦或穿戴式裝置。測試矩陣中的裝置透過裝置型號、作業系統版本、螢幕方向和區域設定(也稱為地理位置和語言設定)進行識別。
測試、測試執行
要在設備上執行的測試(或一組測試案例)。您可以為每台裝置執行一個測試,也可以選擇對測試進行分片並在不同的裝置上執行其測試案例。
測試矩陣
包含測試執行的狀態和測試結果。如果矩陣中的任何測試執行失敗,則整個矩陣都會失敗。

解釋測試矩陣結果

如果您在 Firebase 控制台中開始測試,測試實驗室將直接帶您進入正在進行的測試矩陣,您可以在其中觀察測試的進度。如果您使用命令列工具,則可以按照它提供的 URL 存取正在進行的測試矩陣頁面。

此矩陣有一行代表測試實驗室運行的每個測試執行。執行名稱之前的圖示顯示該執行的狀態:

  • play_circle_outline進行中:測試執行仍在執行。執行最多可能需要一個小時才能完成,具體取決於應用程式中測試的數量和複雜性。
  • check_circle通過:沒有執行測試失敗。
  • 警告失敗:至少一項執行測試失敗。
  • 錯誤不確定:測試結果不確定,可能是因為測試實驗室錯誤造成的。
  • 已跳過區塊測試實驗室跳過了您的測試,因為您選擇的裝置/作業系統版本組合不可用。

解釋單一測試執行的結果

在測試矩陣結果頁面中,按一下其中一項測試執行以查看該特定測試執行的結果。

該頁面向您顯示該測試執行的統計信息,包括測試中遇到的問題、測試案例列表、執行日誌以及測試運行的影片。

詳細測試結果

詳細的測試結果可在 Google Cloud Storage 儲存桶中保存 90 天。在測試執行結果頁面中按一下「檢視來源檔案」即可查看該儲存桶。

若要保留詳細的測試結果超過 90 天,請使用--results-bucket gcloud 命令列選項將測試結果傳送到您擁有的更永久的 Cloud Storage 儲存體桶。然後,您可以設定期限設定來確定 Cloud Storage 儲存結果的時間。有關如何更改年齡設定的更多信息,請參閱生命週期條件