分析 Firebase Test Lab 結果

你可以透過多種方式使用 Firebase Test Lab 來執行測試 Android 應用程式,包括指令列介面Android StudioTest Lab UI Firebase 控制台和 Testing API。 無論選擇開始測試 儲存在您指定的 Firebase 專案中您可以使用 ToolResults API 「搭配使用」本頁說明如何 審查及分析這些測試結果

基本概念

如要查看所有先前測試的執行結果,請在 點選左側導覽面板 Firebase 控制台。這個頁面會顯示來自 已使用 Test Lab 為專案完成測試的應用程式。

如要查看測試結果,您必須先瞭解以下三個概念:

針對裝置和設定執行測試或一組測試案例 Test Lab 會批次對應用程式執行測試 會以測試矩陣的形式顯示結果。

裝置 × 測試執行 = 測試矩陣

裝置
執行測試的實體或虛擬裝置 (僅限 Android) 手機、平板電腦或穿戴式裝置測試矩陣中的裝置是依據 裝置型號、OS 版本、螢幕方向和語言代碼 (也稱為 地理區域和語言設定)。
測試、測試執行
要在裝置上執行的測試 (或一組測試案例)。您可以執行一項測試 也可以視需要為測試 不同裝置。
測試矩陣
包含測試執行的狀態和測試結果。如果有任何 矩陣中的測試執行失敗,整個矩陣就會失敗。

以下各節說明如何瀏覽測試結果。

解讀測試結果

選取「Test Lab」前往測試結果後,您會看到 以及測試結果

測試記錄會依應用程式分組。只有最近五個測試矩陣 會顯示每個應用程式的狀態如有更多可用,可以按一下「All Matrices」(所有矩陣) 連結,即可查看該應用程式的完整清單。

解讀測試矩陣結果

透過 Test Lab UI 啟動測試時, 重新導向至含有測試矩陣的網頁,並在其中點選 來查看測試結果。Android Studiogcloud 指令提供測試矩陣的網址 查看結果網頁

在一般測試矩陣中,您可能會以十幾個或更多種 裝置。每項測試執行作業可能都有不同的結果。可能的結果 對測試矩陣中的任何測試執行包含以下內容:

  • 已通過 已通過測試:未發生任何錯誤。
  • 失敗 測試失敗:至少一項失敗 。
  • 不確定性 已通過測試:測試結果: 可能原因為 Test Lab 錯誤。
  • 已略過 已通過測試:選取的維度值 矩陣中的某些測試執行作業不相容。這種情況會發生在 您選取的裝置與一或多個 Android API 不相容 套用 Pod

如要查看應用程式中特定應用程式所有測試矩陣的匯總測試結果,請按照下列步驟操作: Firebase 專案名稱,然後按一下應用程式名稱,如以下範例所示:

只有四個測試執行作業的測試矩陣結果頁面範例 測試矩陣結果

系統會將您導向應用程式的測試矩陣清單,您可以在其中按一下 測試矩陣名稱,以便查看測試矩陣結果 應用程式名稱 (顯示在下方的紅色方塊中),即可查看測試矩陣清單 。

測試矩陣清單頁面範例 測試矩陣清單

測試矩陣可以通過、失敗或無法確定性。系統顯示了測試矩陣 表示該矩陣中的任何測試執行失敗,或 尚無確定結果

解讀 Robo 測試結果

如果您使用 Robo 進行測試,搜尋結果會顯示下列來源的影片和螢幕截圖: Robo 會檢索使用者介面和一般測試指標,這些影片和 螢幕截圖包含 Robo 在檢索期間所採取的行動 類似於「顯示接觸點」功能。您可以使用這些指示 協助你跟上 Robo 的進度,並重現任何可能發生的錯誤 揭開序幕

Robo 測試結果範例影片

Robo 測試結果

解讀單一測試執行作業的結果

在測試矩陣結果頁面中,點選其中一項測試執行作業,即可瞭解 該特定測試執行的結果

測試執行結果頁面範例 測試執行結果

本頁面會顯示每次測試執行作業所需的時間。你可以 也可以查看特定測試案例的結果 測試 APK (用於檢測設備測試) 和詳細測試結果,包括測試 記錄檔、螢幕截圖和影片針對 Robo 測試,提供詳細測試 結果也會包含活動地圖,以圖像方式顯示 Robo 測試造訪了這個網站

分區檢測設備測試結果

為協助你解讀檢測設備測試結果,Test Lab 會將每項測試分開 並收錄到專屬的詳細報表頁面中,包含堆疊追蹤、記錄檔和影片。 無論您是否使用 Android Orchestrator,都可以使用這項功能。

測試案例結果頁面範例 測試結果

解讀無障礙結果

Robo 測試使用 Android 無障礙功能檢查工具偵測無障礙功能問題 (請注意,您也可以在裝置本機執行掃描)。 如要瞭解如何查看及解讀 Robo 測試的無障礙功能結果,請前往 無障礙功能檢查工具入門指南

如需瞭解如何提升應用程式無障礙功能的一般資訊,請前往 參閱 Android 開發人員無障礙功能說明文件

成效指標

在實體裝置上執行的測試也會傳回成效指標:

指標必要的裝置設定
應用程式啟動時間API 19 以上
CPU 使用率API 21 以上
記憶體用量
網路活動
每秒畫格數API 21 以上,並包含 SurfaceView
顯示卡效能API 23 以上

圖形效能詳細資料

圖像成效報表包含幾個重要圖像指標的統計資料:

  • 錯過的 Vsync: 錯過的 Vsync 事件數除以所用影格數 超過 16 毫秒
  • 輸入延遲時間過長: 超過 24 毫秒的輸入事件數除以 影格轉譯時間超過 16 毫秒的影格數。
  • UI 執行緒速度緩慢: UI 執行緒時間超過 8 毫秒的次數除以 顯示時間超過 16 毫秒的影格數。
  • 繪圖指令速度緩慢: 傳送繪圖指令到 GPU 超過 12 毫秒的次數 除以顯示時間超過 16 毫秒的影格數
  • 點陣圖上傳作業速度緩慢: 點陣圖上傳至 GPU 的時間超過 3.2 毫秒的次數 除以顯示時間超過 16 毫秒的影格數
  • 顯示時間:廣告中每個影格的顯示時間分佈情形 測試執行轉譯時間如果超過 32 毫秒,會導致不可察覺 也變得十分緩慢700+ 的顯示時間表示凍結影格。算繪 資料收集自 dumpsys graphicsstats

詳細測試結果

系統會在您執行測試後的 90 天內提供詳細的測試結果, 儲存在 Google Cloud Storage 值區中 (但也會顯示在 Firebase 控制台)。您可以在 Cloud Storage 中查看詳細的測試結果 在測試執行結果頁面上點選「測試結果」,即可找到值區。 詳細測試結果不再提供後,您還是可以查看 測試是否通過

如要保留詳細測試結果超過 90 天,您必須執行以下動作: ,將這些測試結果傳送到您自有的 Cloud Storage 值區 --results-bucket gcloud 指令列選項。 之後可調整「年齡」設定,決定搜尋結果要儲存在多久時間 或是 Cloud Storage 值區詳情請見 生命週期條件 瞭解如何更改「年齡」設定。