分析 Firebase Test Lab 結果

您可以透過多種方式使用 Firebase Test Lab 在 Android 應用程式上執行測試,包括指令列介面Android StudioFirebase 控制台中的 Test Lab UI,以及 Testing API。但您選擇開始測試時,結果會儲存在您指定的 Firebase 專案中。除了上述工具外,您也可以使用 ToolResults API 探索結果。本頁說明如何查看及分析這些測試結果。

基本概念

如要查看所有先前測試執行的結果,請前往 Firebase 控制台,在專案的左側導覽面板中選取 Test Lab。這個頁面會顯示您使用 Test Lab 在專案中測試的應用程式所執行的所有測試。

如要查看測試結果,您必須先瞭解以下三個概念:

當您針對所選裝置和設定執行測試或一組測試案例時,Test Lab 會針對應用程式執行批次測試,然後以測試矩陣的形式顯示結果。

裝置 × 測試執行 = 測試矩陣

裝置
您用來執行測試的實體或虛擬裝置 (僅限 Android),例如手機、平板電腦或穿戴式裝置。測試矩陣中的裝置會依裝置型號、OS 版本、螢幕方向和語言代碼 (也稱為地理位置和語言設定) 識別。
測試、測試執行
要在裝置上執行的測試 (或一組測試案例)。您可以為每部裝置執行一項測試,也可以選擇將測試分割,並在不同裝置上執行其測試案例。
測試矩陣
包含測試執行的狀態和測試結果。如果矩陣中的任何測試執行失敗,整個矩陣就會失敗。

下列各節將說明如何瀏覽測試結果。

解讀測試記錄結果

選取 Test Lab 前往測試結果時,您會看到到目前為止執行過的測試結果。

測試記錄會依應用程式分組。每個應用程式只會顯示最近五個測試矩陣;如果有更多可用矩陣,您可以按一下應用程式測試清單底部的「所有矩陣」連結,查看該應用程式的完整清單。

解讀測試矩陣結果

透過 Test Lab UI 開始測試時,系統會將您重新導向至可查看測試矩陣的頁面,並點選特定測試執行作業來查看測試結果。Android Studiogcloud 指令也會提供測試矩陣結果頁面的網址。

在一般測試矩陣中,您可能會在十幾部不同的裝置上執行測試。每次執行測試的結果可能不同。在測試矩陣中,任何測試執行作業的可能結果如下:

  • 已通過 測試已通過:未發生任何失敗。
  • 失敗 測試失敗:至少發生一次失敗。
  • 無明確結果 已通過測試:測試結果不明確,可能是因為 Test Lab 錯誤。
  • 略過 測試已通過:矩陣中部分測試執行作業的所選維度值不相容。當您選取的裝置與一或多個所選 Android API 級別不相容時,就會發生這種情況。

如要查看 Firebase 專案中特定應用程式所有測試矩陣的匯總測試結果,請按一下應用程式名稱,如以下範例所示:

只有四項測試執行作業的測試矩陣結果頁面範例 測試矩陣結果

系統會將您導向應用程式的測試矩陣清單,您可以在其中點選任何測試矩陣的名稱,查看測試矩陣結果,並在其中按一下應用程式名稱 (如下方紅色方塊所示),即可查看與 Firebase 專案相關聯的其他應用程式的測試矩陣清單。

測試矩陣清單頁面範例 測試矩陣清單

測試矩陣的結果可能為通過、失敗或無法確定。如果矩陣中的任何測試執行作業失敗或結果不明,該矩陣就會顯示為失敗或結果不明。

解讀 Robo 測試結果

如果您使用 Robo 執行測試,除了一般測試指標外,結果還會包含 Robo 檢索使用者介面的影片和螢幕截圖。這些影片和螢幕截圖會顯示檢索期間 Robo 採取的動作,類似於 Android 中的「Show touches」功能。您可以使用指示功能追蹤 Robo 的進度,並重現 Robo 可能未發現的任何錯誤。

Robo 測試結果影片範例

Robo 測試結果

解讀單一測試執行結果

在測試矩陣結果頁面中,按一下其中一項測試執行作業,即可查看該特定測試執行作業的結果。

測試執行結果頁面範例 測試執行結果

您可以在這個頁面上查看每項測試的執行時間。您也可以查看與測試 APK 中方法相對應的特定測試案例結果 (適用於檢測設備測試),以及詳細的測試結果,包括測試記錄、螢幕截圖和影片。對於 Robo 測試,詳細的測試結果還包含活動地圖,以圖形方式顯示 Robo 測試造訪的 UI 路徑。

已劃分的檢測設備測試結果

為協助您解讀檢測的測試結果,Test Lab 會將每項測試分開至各自的詳細報表頁面,並附上堆疊追蹤、記錄和影片。無論您是否使用 Android Orchestrator,這項功能都能正常運作。

測試案例結果頁面範例 測試案例結果

解讀無障礙功能測試結果

Robo 測試會使用 Android 無障礙功能檢查工具,偵測應用程式中的無障礙功能問題 (請注意,您也可以在裝置上執行本機掃描作業)。如需有關如何查看及解讀 Robo 測試無障礙結果的操作說明,請參閱無障礙功能檢查工具入門指南

如要進一步瞭解如何改善應用程式的無障礙設計,請參閱 Android 開發人員無障礙功能說明文件

成效指標

在實體裝置上執行的測試也會傳回效能指標:

指標必要的裝置設定
應用程式啟動時間API 19 以上
CPU 使用率API 21 以上
記憶體用量
網路活動
每秒畫格數API 21 以上,並包含 SurfaceView

詳細測試結果

詳細的測試結果會在您執行測試後 90 天內提供,並儲存在 Google Cloud Storage 桶中 (但也可在 Firebase 控制台中查看)。按一下測試執行結果頁面中的「測試結果」,即可在 Cloud Storage 值區中查看詳細的測試結果。即使無法取得詳細的測試結果,您仍可查看哪些測試通過或失敗。

如要將詳細測試結果保留超過 90 天,您必須使用 --results-bucket gcloud 指令列選項,將這些測試結果傳送至您擁有的 Cloud Storage 儲存桶。接著,您可以設定「Age」設定,決定結果在 Cloud Storage 值區中儲存多久。如要瞭解如何變更「年齡」設定,請參閱「生命週期條件」。