您可以透過多種方式使用 Firebase Test Lab 執行測試 Android 應用程式,包括指令列介面。 Android Studio、Test Lab UI Firebase 控制台和 Testing API。 無論選擇開始測試 儲存在您指定的 Firebase 專案中您可以使用 ToolResults API 「搭配使用」本頁說明如何 審查及分析這些測試結果
基本概念
如要查看所有先前測試的執行結果,請在Test Lab 點選左側導覽面板 Firebase 控制台。這個頁面會顯示來自 已使用 Test Lab 為專案測試的應用程式。
如要查看測試結果,您必須先瞭解以下三個概念:
針對裝置和設定執行測試或一組測試案例 選取後,Test Lab 會批次對應用程式執行測試,然後 會以測試矩陣的形式顯示結果。
裝置 × 測試執行 = 測試矩陣
- 裝置
- 執行測試的實體或虛擬裝置 (僅限 Android) 手機、平板電腦或穿戴式裝置測試矩陣中的裝置是依據 裝置型號、OS 版本、螢幕方向和語言代碼 (也稱為 地理區域和語言設定)。
- 測試、測試執行
- 要在裝置上執行的測試 (或一組測試案例)。您可以執行一項測試 也可以視需要為測試 不同裝置。
- 測試矩陣
- 包含測試執行的狀態和測試結果。如果有任何 矩陣中的測試執行失敗,整個矩陣就會失敗。
以下各節說明如何瀏覽測試結果。
解讀測試結果
選取 Test Lab 前往測試結果後, 以及測試結果
測試記錄會依應用程式分組。只有最近五個測試矩陣 會顯示每個應用程式的狀態如有更多可用,可以按一下「All Matrices」(所有矩陣) 連結,即可查看該應用程式的完整清單。
解讀測試矩陣結果
透過 Test Lab UI 啟動測試時, 重新導向至含有測試矩陣的網頁,並在其中點選 來查看測試結果。Android Studio 而 gcloud 指令提供測試矩陣的網址 查看結果網頁
在一般測試矩陣中,您可能會以十幾個或更多種 裝置。每項測試執行作業可能都有不同的結果。可能的結果 對測試矩陣中的任何測試執行包含以下內容:
- 已通過
:未發生任何錯誤。
- 失敗
:至少一項失敗 。
- 不確定性
:測試結果: 尚無結果,原因可能是 Test Lab 錯誤。
- 已略過
:選取的維度值 矩陣中的某些測試執行作業不相容。這種情況會發生在 您選取的裝置與一或多個 Android API 不相容 套用 Pod
如要查看應用程式中特定應用程式所有測試矩陣的匯總測試結果,請按照下列步驟操作: Firebase 專案名稱,然後按一下應用程式名稱,如以下範例所示:
只有四個測試執行作業的測試矩陣結果頁面範例
系統會將您導向應用程式的測試矩陣清單,您可以在清單中按一下 測試矩陣名稱,以便查看測試矩陣結果 應用程式名稱 (顯示在下方的紅色方塊中),即可查看測試矩陣清單 。
測試矩陣清單頁面範例
測試矩陣可以通過、失敗或無法確定性。系統顯示了測試矩陣 表示該矩陣中的任何測試執行失敗,或 尚無確定結果
解讀 Robo 測試結果
如果您使用 Robo 進行測試,搜尋結果會顯示下列來源的影片和螢幕截圖: Robo 會檢索使用者介面和一般測試指標,這些影片和 螢幕截圖包含 Robo 在檢索期間所採取的行動 類似於「顯示接觸點」功能。您可以使用這些指示 協助你跟上 Robo 的進度,並重現任何可能發生的錯誤 揭開序幕
Robo 測試結果範例影片
解讀單一測試執行作業的結果
在測試矩陣結果頁面中,點選其中一項測試執行作業,即可瞭解 該特定測試執行的結果
測試執行結果頁面範例
本頁面會顯示每次測試執行作業所需的時間。你可以 也可以查看特定測試案例的結果 測試 APK (用於檢測設備測試) 和詳細測試結果,包括測試 記錄檔、螢幕截圖和影片針對 Robo 測試,提供詳細測試 結果也會包含活動地圖,以圖像方式顯示 Robo 測試造訪了這個網站
分區檢測設備測試結果
為了協助您解讀檢測設備測試結果,Test Lab 會將每項測試分開 並收錄到專屬的詳細報表頁面中,包含堆疊追蹤、記錄檔和影片。 無論您是否使用 Android Orchestrator,都可以使用這項功能。
測試案例結果頁面範例
解讀無障礙結果
Robo 測試使用 Android 無障礙功能檢查工具偵測無障礙功能問題 (請注意,您也可以在裝置本機執行掃描)。 如要瞭解如何查看及解讀 Robo 測試的無障礙功能結果,請前往 無障礙功能檢查工具入門指南。
如需瞭解如何提升應用程式無障礙功能的一般資訊,請前往 參閱 Android 開發人員無障礙功能說明文件。
成效指標
在實體裝置上執行的測試也會傳回成效指標:
指標 | 必要的裝置設定 |
---|---|
應用程式啟動時間 | API 19 以上 |
CPU 使用率 | API 21 以上 |
記憶體用量 | |
網路活動 | |
每秒畫格數 | API 21 以上,並包含 SurfaceView |
詳細測試結果
系統會在您執行測試後的 90 天內提供詳細的測試結果, 儲存在 Google Cloud Storage 值區中 (但也會顯示在 Firebase 控制台)。您可以在 Cloud Storage中查看詳細的測試結果 在測試執行結果頁面上點選「測試結果」,即可找到值區。 詳細測試結果不再提供後,您還是可以查看 測試是否通過
如要保留詳細測試結果超過 90 天,您必須執行以下動作: ,將這些測試結果傳送到您所擁有的 Cloud Storage 值區 --results-bucket gcloud 指令列選項。 之後可調整「年齡」設定,決定搜尋結果要儲存在多久時間 Cloud Storage 值區。詳情請見 生命週期條件 瞭解如何更改「年齡」設定。