Google is committed to advancing racial equity for Black communities. See how.
This page was translated by the Cloud Translation API.
Switch to English

分析Firebase測試實驗室結果

有多種方法可以使用Firebase Test Lab在Android應用上運行測試,包括命令行界面Android Studio ,Firebase控制台中的Test Lab UITesting API 。無論您選擇開始測試,結果都存儲在您指定的Firebase項目中。除了上述任何工具之外,您還可以使用ToolResults API探索結果。本頁介紹如何查看和分析這些測試結果。

關鍵概念

要查看以前所有測試運行的結果,請在Firebase控制台的項目左側導航面板中選擇“ 測試實驗室” 。此頁面顯示使用Test Lab對項目進行測試的應用程序中的所有測試運行。

要查看測試結果,您首先需要了解三個概念:

設備×測試執行=測試矩陣

設備
在其上運行測試的設備,例如電話,平板電腦或可穿戴設備。測試矩陣中的設備通過設備型號,操作系統版本,語言環境和屏幕方向進行標識。
測試執行
在設備上運行測試。在典型的測試矩陣中,每個選定的設備執行一次測試。
測試矩陣
一組測試執行。如果矩陣中的任何測試執行失敗,則整個矩陣也會失敗。

以下各節說明如何瀏覽測試結果。

解釋測試歷史記錄結果

通過選擇Test Lab導航到測試結果時,您會看到到目前為止已運行的測試結果。

測試歷史記錄按應用分組。每個應用程序僅顯示最新的五個測試矩陣。 (如果有更多可用的話),您可以單擊應用程序測試列表底部的“ 所有矩陣”鏈接,以查看該應用程序的完整列表。

解釋測試矩陣結果

通過“ 測試實驗室UI”開始測試時,您將被重定向到一個頁面,您可以在其中查看測試矩陣,然後單擊特定的測試執行以查看測試結果。 Android Studiogcloud命令也為測試矩陣結果頁面提供了URL。

在典型的測試矩陣中,您可能會在十幾個左右的不同設備上運行測試。每個測試執行可以有不同的結果。測試矩陣中任何測試執行的可能結果包括:

  • 已通過考試通過了 :沒有遇到失敗。
  • 失敗的測試失敗 :至少遇到一個失敗。
  • 沒有定論考試通過了 :測試結果不確定,可能是由於測試實驗室錯誤所致。
  • 跳過考試通過了 :矩陣中某些測試執行的選定尺寸值不兼容。當您選擇的設備與您選擇的一個或多個Android API級別不兼容時,就會發生這種情況。

要查看Firebase項目中給定應用程序的所有測試矩陣的匯總測試結果,請單擊應用程序的名稱,如以下示例所示:

僅有四個測試執行的示例測試矩陣結果頁面 測試矩陣結果

這將帶您到應用程序的測試矩陣列表,您可以在其中單擊任何測試矩陣的名稱以查看測試矩陣結果,還可以在其中單擊應用程序的名稱(顯示在下面的紅色框中)以查看與您的Firebase項目關聯的其他應用的測試矩陣列表。

測試矩陣列表頁面示例 測試矩陣列表

測試矩陣可以通過,失敗或不確定。如果該測試矩陣中的任何測試執行失敗或不確定,則該測試矩陣將顯示為失敗或不確定。

解讀Robo測試結果

如果您使用Robo進行測試,則除了通常的測試指標外,您的結果還包括Robo爬行UI的視頻和屏幕截圖。這些視頻和屏幕截圖包括Robo在抓取過程中所採取動作的視覺指示,類似於Android中的“顯示接觸”功能。您可以使用指示信息來幫助您跟踪Robo的進度,並重現它可能發現的任何錯誤。

示例機器人測試結果視頻

機器人測試結果

解釋一次測試執行的結果

在“測試矩陣結果”頁面上,單擊測試執行之一以查看該特定測試執行的結果。

示例測試執行結果頁面 測試執行結果

在此頁面上,您可以看到每次測試執行所需的時間。您還可以查看與測試APK(用於儀器測試)中的方法相對應的特定測試用例的結果,以及詳細的測試結果,包括測試日誌,屏幕截圖和視頻。對於Robo測試 ,詳細的測試結果還包括一個活動圖,該圖以圖形方式顯示Robo測試訪問過的UI路徑。

分區儀器測試結果

為了幫助您解釋檢測到的測試結果,測試實驗室將每個測試分成單獨的詳細報告頁面,並提供堆棧跟踪,日誌和視頻。無論您是否使用Android Orchestrator,此功能均有效。

示例測試用例結果頁面 測試用例結果

解釋可訪問性結果

機器人測試使用Android Accessibility Scanner來檢測應用程序中的可訪問性問題(請注意,您也可以在設備上本地運行掃描)。有關如何查看和解釋Robo測試的可訪問性結果的說明,請訪問可訪問性掃描器入門

有關如何改善應用程序可訪問性的一般信息,請訪問Android開發者可訪問性文檔

性能指標

在物理設備上運行的測試還會返回性能指標:

公制所需的設備配置
應用啟動時間 API 19+
CPU使用率 API 21+
內存使用情況
網絡活動
每秒幀數 API 21+,並包含一個SurfaceView
圖形性能 API 23以上

圖形性能細節

圖形性能報告包含一些關鍵圖形指標的統計信息:

  • 錯過的Vsync:錯過的Vsync事件數,除以渲染時間超過16毫秒的幀數。
  • 高輸入延遲:花費超過24 ms的輸入事件數除以花費超過16 ms的幀數。
  • UI線程速度慢: UI線程完成時間超過8毫秒的次數除以渲染時間超過16毫秒的幀數。
  • 緩慢的繪製命令:向GPU發送繪製命令的時間超過12毫秒,再除以渲染時間超過16毫秒的幀數。
  • 緩慢的位圖上傳:位圖上傳到GPU所花費的時間超過3.2毫秒除以渲染所花費的時間超過16毫秒的幀數。
  • 渲染時間:測試運行的每一幀的渲染時間的分佈。渲染時間大於32毫秒會導致UI明顯變慢。 700+的渲染時間表示凍結的幀。渲染數據是從dumpsys graphicsstats收集的。

詳細的測試結果

在運行測試後的90天內,可獲得詳細的測試結果,並將其存儲在Google Cloud Storage(GCS)存儲桶中(但在Firebase控制台中也可以看到)。單擊測試執行結果頁面上的查看源文件時,可以在GCS存儲桶中查看詳細的測試結果。當不再有詳細的測試結果時,您仍然可以查看哪些測試通過或失敗。

要保留詳細的測試結果超過90天,您需要使用--results-bucket gcloud命令行選項將這些測試結果發送到您擁有的GCS存儲桶中。然後,您可以設置“ 年齡”設置,以確定結果存儲在GCS存儲桶中的時間。有關如何更改年齡設置的信息,請參見生命週期條件