Google is committed to advancing racial equity for Black communities. See how.
本頁面由 Cloud Translation API 翻譯而成。
Switch to English

分析Firebase測試實驗室結果

有多種方法可以使用Firebase Test Lab在Android應用上運行測試,包括命令行界面Android Studio ,Firebase控制台中的Test Lab UITesting API 。無論您選擇開始測試,結果都存儲在您指定的Firebase項目中。除了上述任何工具之外,您還可以使用ToolResults API探索結果。本頁介紹如何查看和分析這些測試結果。

關鍵概念

要查看以前所有測試運行的結果,請在Firebase控制台的項目左側導航面板中選擇“ 測試實驗室” 。此頁面顯示使用Test Lab對項目進行測試的應用程序中的所有測試運行。

要查看測試結果,您首先需要了解三個概念:

設備×測試執行=測試矩陣

設備
在其上運行測試的設備,例如電話,平板電腦或可穿戴設備。測試矩陣中的設備通過設備型號,操作系統版本,語言環境和屏幕方向進行標識。
測試執行
在設備上運行測試。在典型的測試矩陣中,每個選定的設備執行一次測試。
測試矩陣
一組測試執行。如果矩陣中的任何測試執行失敗,則整個矩陣也會失敗。

以下各節說明如何瀏覽測試結果。

解釋測試歷史記錄結果

通過選擇Test Lab導航到測試結果時,您會看到到目前為止已運行的測試結果。

測試歷史記錄按應用分組。每個應用程序僅顯示最新的五個測試矩陣。 (如果有更多可用的話),您可以單擊應用程序測試列表底部的“ 所有矩陣”鏈接,以查看該應用程序的完整列表。

解釋測試矩陣結果

通過“ 測試實驗室UI”開始測試時,您將被重定向到一個頁面,您可以在其中查看測試矩陣,然後單擊特定的測試執行以查看測試結果。 Android Studiogcloud命令也為測試矩陣結果頁面提供了URL。

在典型的測試矩陣中,您可能會在十幾個左右的不同設備上運行測試。每個測試執行可以有不同的結果。測試矩陣中任何測試執行的可能結果包括:

  • 已通過考試通過了 :沒有遇到失敗。
  • 失敗的測試失敗 :至少遇到一個失敗。
  • 沒有定論考試通過了 :測試結果不確定,可能是由於測試實驗室錯誤所致。
  • 跳過考試通過了 :矩陣中某些測試執行的選定尺寸值不兼容。當您選擇的設備與您選擇的一個或多個Android API級別不兼容時,就會發生這種情況。

要查看Firebase項目中給定應用程序的所有測試矩陣的匯總測試結果,請單擊應用程序的名稱,如以下示例所示:

僅有四個測試執行的示例測試矩陣結果頁面 測試矩陣結果

這將帶您到應用程序的測試矩陣列表,您可以在其中單擊任何測試矩陣的名稱以查看測試矩陣結果,還可以在其中單擊應用程序的名稱(顯示在下面的紅色框中)以查看與您的Firebase項目關聯的其他應用的測試矩陣列表。

測試矩陣列表頁面示例 測試矩陣列表

測試矩陣可以通過,失敗或不確定。如果該測試矩陣中的任何測試執行失敗或不確定,則該測試矩陣將顯示為失敗或不確定。

解讀Robo測試結果

如果您使用Robo進行測試,則除了通常的測試指標外,您的結果還包括Robo爬行UI的視頻和屏幕截圖。這些視頻和屏幕截圖包括Robo在抓取過程中所採取動作的視覺指示,類似於Android中的“顯示接觸”功能。您可以使用指示信息來幫助您跟踪Robo的進度,並重現它可能發現的任何錯誤。

示例機器人測試結果視頻

機器人測試結果

解釋一次測試執行的結果

在“測試矩陣結果”頁面上,單擊測試執行之一以查看該特定測試執行的結果。

示例測試執行結果頁面 測試執行結果

在此頁面上,您可以看到每次測試執行所需的時間。您還可以查看與測試APK(用於儀器測試)中的方法相對應的特定測試用例的結果,以及詳細的測試結果,包括測試日誌,屏幕截圖和視頻。對於Robo測試 ,詳細的測試結果還包括一個活動圖,該圖以圖形方式顯示Robo測試訪問過的UI路徑。

分區儀器測試結果

為了幫助您解釋檢測到的測試結果,測試實驗室將每個測試分成單獨的詳細報告頁面,並提供堆棧跟踪,日誌和視頻。無論您是否使用Android Orchestrator,此功能均有效。

示例測試用例結果頁面 測試用例結果

解釋可訪問性結果

機器人測試使用Android Accessibility Scanner來檢測應用程序中的可訪問性問題(請注意,您也可以在設備上本地運行掃描)。有關如何查看和解釋Robo測試的可訪問性結果的說明,請訪問可訪問性掃描器入門

有關如何改善應用程序可訪問性的一般信息,請訪問Android開發者可訪問性文檔

性能指標

在物理設備上運行的測試還會返回性能指標:

公制所需的設備配置
應用啟動時間 API 19+
CPU使用率 API 21+
內存使用情況
網絡活動
每秒幀數 API 21+,並包含一個SurfaceView
圖形性能 API 23以上

圖形性能細節

圖形性能報告包含一些關鍵圖形指標的統計信息:

  • 錯過的Vsync:錯過的Vsync事件數,除以渲染時間超過16毫秒的幀數。
  • 高輸入延遲:花費超過24 ms的輸入事件數除以花費超過16 ms的幀數。
  • UI線程速度慢: UI線程完成時間超過8毫秒的次數除以渲染時間超過16毫秒的幀數。
  • 緩慢的繪製命令:向GPU發送繪製命令的時間超過12毫秒,再除以渲染時間超過16毫秒的幀數。
  • 緩慢的位圖上傳:位圖上傳到GPU所花費的時間超過3.2毫秒除以渲染所花費的時間超過16毫秒的幀數。
  • 渲染時間:測試運行的每一幀的渲染時間的分佈。渲染時間大於32毫秒會導致UI明顯變慢。 700+的渲染時間表示凍結的幀。渲染數據是從dumpsys graphicsstats收集的。

詳細的測試結果

在運行測試後的90天內,可獲得詳細的測試結果,並將其存儲在Google Cloud Storage(GCS)存儲桶中(但在Firebase控制台中也可以看到)。單擊測試執行結果頁面上的查看源文件時,可以在GCS存儲桶中查看詳細的測試結果。當不再有詳細的測試結果時,您仍然可以查看哪些測試通過或失敗。

要保留詳細的測試結果超過90天,您需要使用--results-bucket gcloud命令行選項將這些測試結果發送到您擁有的GCS存儲桶中。然後,您可以設置“ 年齡”設置,以確定結果存儲在GCS存儲桶中的時間。有關如何更改年齡設置的信息,請參見生命週期條件