本指南說明如何使用 gcloud CLI 執行檢測、Robo 或遊戲迴圈測試。
如需 gcloud
指令的完整清單,您可以在 Test Lab 中搭配 Android 應用程式使用,請參閱 gcloud firebase test android
的參考說明文件。
事前準備
如果您尚未將 Firebase 新增至 Android 專案,請新增 Firebase。
步驟 1:設定 gcloud CLI
- 下載 Google Cloud SDK
- 確認安裝的是最新版本:
gcloud components update
- 使用 Google 帳戶登入 gcloud CLI:
gcloud auth login
- 在 gcloud 中設定 Firebase 專案,其中 PROJECT_ID 是 Firebase 專案的 ID:
gcloud config set project PROJECT_ID
包括 gcloud CLI 工具。
步驟 2:查看可用的測試裝置
使用下列 gcloud 指令查看可用於測試的測試裝置和語言代碼。
您也可以下載範例記事本應用程式,立即開始執行指令。使用位元檔案 app-debug-unaligned.apk
和設備測試檔案 app-debug-test-unaligned.apk
,這兩者皆位於 NotePad/app/build/outputs/apk/
中。
models list
:取得可供測試的 Android 裝置目前清單。gcloud firebase test android models list
在指令輸出內容中:
- 欄
MODEL_ID
包含 ID,可用於日後在裝置模型上執行測試。 - 欄
OS_VERSION_ID
包含裝置支援的作業系統版本。
輸出內容範例
- 欄
models describe
:取得特定 AndroidMODEL_ID
的更多資訊。gcloud firebase test android models describe MODEL_ID
輸出內容包含裝置型號的品牌、製造商、作業系統版本、支援的 API 級別、支援的應用程式二進位介面 (ABI)、發布日期,以及裝置是實體裝置還是虛擬裝置。
versions list
:取得目前可用 OS 版本的清單,以便進行測試。gcloud firebase test android versions list
您可以使用指令輸出內容的前兩個資料欄 (
OS_VERSION_ID
和VERSION
) 中的任一 ID,稍後針對 Android 作業系統版本執行測試。如果您未指定要測試的 Android 作業系統版本,系統會使用TAGS
欄下所列的預設值。輸出內容範例
locales list
:取得目前可用於測試的語言代碼清單。gcloud firebase test android versions list
指令輸出的第 1 欄 (
LOCALE
) 包含 ID,可用於日後針對語言代碼執行測試。如果您未指定要測試的語言代碼,系統會使用英文做為預設語言。
步驟 3:執行測試
您現在已瞭解可用於測試應用程式的裝置型號、語言代碼和 OS 版本範圍,因此可以使用 gcloud firebase test android run
指令和 --device
標記指定裝置,以便執行 Robo 或檢測設備測試。
執行 Robo 測試
即使您沒有任何檢測測試,仍可找出應用程式中的錯誤。請使用 Robo 測試,自動檢查應用程式的使用者介面。Robo 測試會透過應用程式的使用者介面,對各種路徑執行靜態分析,然後檢索應用程式,找出當機和其他潛在問題。
如要執行 Robo 測試,請執行下列範例指令:
gcloud firebase test android run \ --type robo \ --app app-debug-unaligned.apk \ --device model=Nexus6,version=21,locale=en,orientation=portrait \ --device model=Nexus7,version=19,locale=fr,orientation=landscape \ --timeout 90s \ --client-details matrixLabel="Example matrix label"
- 如果未指定
--type
值,則--type robo
參數為隱含值。 - 如要輕鬆在 Firebase 控制台中識別並找出測試矩陣,您可以使用選用的
--client-details matrixLabel="Example matrix label"
標記標示測試矩陣。 - 如要查看執行測試的指令列選項完整清單,請輸入
gcloud help firebase test android run
。
除了在指令列上指定這些引數,您也可以選擇在 YAML 格式的引數檔案中指定引數。請執行 gcloud topic arg-files
,瞭解如何使用這項功能。
如要瞭解如何調查 Robo 測試的測試結果,請參閱「分析測試結果」。
執行檢測設備測試
現在請使用 gcloud
指令列工具,在指定的 Android 裝置設定上執行 Notepad 應用程式的 Espresso 測試。使用 instrumentation
測試類型,在 app-debug-test-unaligned.apk
中執行測試,如下所示:
gcloud firebase test android run \ --type instrumentation \ --app app-debug-unaligned.apk \ --test app-debug-test-unaligned.apk \ --device model=Nexus6,version=21,locale=en,orientation=portrait \ --device model=Nexus7,version=19,locale=fr,orientation=landscape --client-details matrixLabel="Example matrix label"
- 如果使用
--test
指定測試 APK,--type
檢測設備參數會是隱含的。 - 如要輕鬆在 Firebase 主控台中識別及找出測試矩陣,您可以使用選用的
--client-details matrixLabel="Example matrix label"
標記標示測試矩陣。 - 如要查看執行測試的完整指令列選項,請輸入
gcloud help firebase test android run
。
除了在指令列上指定這些引數,您也可以選擇在 YAML 格式的引數檔案中指定引數。請執行 gcloud topic arg-files
,瞭解如何使用這項功能。
gcloud CLI 支援 Android Test Orchestrator。Orchestrator 需要 AndroidJUnitRunner 1.1 以上版本。如要啟用,請使用 gcloud firebase test android run
搭配 --use-orchestrator
旗標。如要停用,請使用 --no-use-orchestrator
標記。
您也可以使用上述未顯示的其他標記,控制 Test Lab 執行檢測測試的方式。舉例來說,您可以使用 --test-targets
標記來測試單一類別或測試 APK 使用的類別方法。您也可以使用 --num-flaky-test-attempts
標記,找出失敗的測試是否確實不穩定。此標記可指定,如果有一個或多個測試案例因任何原因而失敗,則應重試測試執行次數。詳情請參閱 gcloud firebase test android run。
檢測設備測試的程式碼覆蓋率報表
Test Lab 支援程式碼涵蓋率報表工具 EMMA 和 JaCoCo。如果您已將任一工具整合至應用程式的建構作業,您可以搭配一些額外的引數執行 gcloud firebase test android run
,取得 Test Lab 測試的程式碼涵蓋率報告。如果未啟用 Android Test Orchestrator,請使用以下指令:
gcloud firebase test android run \ --type instrumentation \ --app your-app.apk \ --test your-app-test.apk \ --device model=TestDevice,version=AndroidVersion \ --environment-variables coverage=true,coverageFile="/sdcard/Download/coverage.ec" \ --directories-to-pull /sdcard/Download
如果您在產生程式碼涵蓋率報表的同時也使用 Android 測試指揮中心,請依下列方式修改環境變數:
gcloud firebase test android run \ --type instrumentation \ --app your-app.apk \ --test your-app-test.apk \ --device model=TestDevice,version=AndroidVersion \ --environment-variables clearPackageData=true,coverage=true,coverageFilePath="/sdcard/Download/" \ --directories-to-pull /sdcard/Download
當 Test Lab 完成執行測試後,請在 Google Cloud Storage 中查看程式碼涵蓋率報表:
- 開啟 Firebase 主控台連結,該連結會在終端機的測試結果表格上方由
gcloud
工具列印出來。 - 按一下該連結中清單中的測試執行作業,即可開啟該執行作業的詳細資料頁面。
- 按一下「測試結果」,前往該執行作業的測試結果 Cloud Storage 值層。
- 開啟
artifacts/coverage.ec
即可查看程式碼涵蓋率報表。
分析測試結果
幾分鐘後,gcloud 工具會列印測試結果的基本摘要:
指令列測試執行作業的輸出內容也包含可查看測試結果的連結。如要進一步瞭解如何解讀這些結果,請參閱「分析 Android 結果的 Firebase Test Lab」。
使用 Robo 測試自訂登入和文字輸入
除非您使用 --no-auto-google-login
參數,否則 Robo 測試會自動完成使用 Google 帳戶進行驗證的登入畫面。它也可以使用您提供的測試帳戶憑證,完成自訂登入畫面。您也可以使用這個參數,為應用程式使用的其他文字欄位提供自訂輸入文字。
如要完成應用程式中的文字欄位,請使用 --robo-directives
參數,並提供以逗號分隔的 key-value
組合清單,其中 key
是目標 UI 元素的 Android 資源名稱,而 value
是文字字串。您也可以使用此旗標,指示 Robo 忽略特定 UI 元素 (例如「logout」按鈕)。支援 EditText
欄位,但不支援 WebView
UI 元素中的文字欄位。
舉例來說,您可以使用下列參數進行自訂登入:
--robo-directives username_resource=username,password_resource=password
可用的指令和旗標
Test Lab gcloud CLI 提供多個指令和標記,可讓您執行不同規格的測試:
Android Test Orchestrator 旗標:用於啟用 Orchestrator 的旗標,這項工具可讓您在應用程式自身叫用的
Instrumentation
中執行每項應用程式測試。Test Lab 一律會執行最新版的 Orchestrator。遊戲迴圈測試標記:一組設定標記,可啟用及控制「示範模式」,用於模擬遊戲應用程式中的玩家動作。進一步瞭解如何使用 Test Lab 執行遊戲迴圈測試。
Uniform Sharding flag (beta 版):這個旗標可指定您想將測試案例平均分配至哪些資料分割中。並行在不同的裝置上執行。
手動分割旗標 (Beta 版):這個旗標會指定要在分割區 (一組測試案例) 中執行的一組套件、類別和/或測試案例。分割區會在不同的裝置上並行執行。
網路流量設定檔標記 (Beta 版):這個標記會指定測試在實體裝置上使用的網路設定檔。網路設定檔可模擬各種網路狀況,讓您在不可靠或不穩定的網路上測試應用程式效能。
使用 Test Lab 編寫 gcloud 指令
您可以使用 Shell 指令碼或批次檔案,自動執行原本要透過 gcloud 指令列執行的行動應用程式測試指令。以下範例 bash 指令碼會以兩分鐘的逾時期限執行檢測設備測試,並回報測試是否已順利完成:
if gcloud firebase test android run --app my-app.apk --test my-test.apk --timeout 2m then echo "Test matrix successfully finished" else echo "Test matrix exited abnormally with non-zero exit code: " $? fi
指令碼結束程式碼
Test Lab 提供多個結束碼,可讓您更瞭解使用指令碼或批次檔案執行的測試結果。
Test Lab 的腳本退出代碼
結束代碼 | 附註 |
---|---|
0 | 所有測試執行作業均已通過。 |
1 | 發生一般錯誤。可能的原因包括:檔案名稱不存在或 HTTP/網路錯誤。 |
2 | 測試已結束,因為系統提供不明的命令或引數。 |
10 | 測試執行期間,一或多個測試案例 (測試的類別或類別方法) 未通過。 |
15 | Firebase Test Lab 發生未預期的錯誤,因此無法判斷測試矩陣是否通過或失敗。 |
18 | 由於測試維度不相容,因此系統不支援這項測試執行的測試環境。如果所選裝置類型不支援所選 Android API 級別,就可能發生此錯誤。 |
19 | 使用者已取消測試矩陣。 |
20 | 發生測試基礎架構錯誤。 |