開始透過 gcloud CLI 進行測試

本指南說明如何使用 gcloud CLI 執行檢測設備、Robo 或遊戲迴圈測試。

如需可在 Test Lab 中搭配 Android 應用程式使用的完整 gcloud 指令清單,請參閱 gcloud firebase test android 參考說明文件

事前準備

如果您尚未將 Firebase 新增至 Android 專案,請先完成這項操作。

步驟 1:設定 gcloud CLI

  1. 下載 Google Cloud SDK
  2. 包括 gcloud CLI 工具。

  3. 確認安裝的是最新版本:
    gcloud components update
    
  4. 使用 Google 帳戶登入 gcloud CLI:
    gcloud auth login
    
  5. 在 gcloud 中設定 Firebase 專案,其中 PROJECT_ID 是 Firebase 專案的 ID:
    gcloud config set project PROJECT_ID
    

步驟 2:查看可用的測試裝置

請使用以下 gcloud 指令查看測試可用的測試裝置和語言代碼。

您也可以下載 記事本應用程式範例,立即開始執行指令。使用位於 NotePad/app/build/outputs/apk/ 的二進位檔案 app-debug-unaligned.apk 和檢測設備測試檔案 app-debug-test-unaligned.apk

  • models list:取得最新的 Android 裝置清單,供您進行測試。

    gcloud firebase test android models list
    

    在指令輸出中:

    • MODEL_ID 欄包含之後可在裝置型號上執行測試的 ID。
    • OS_VERSION_ID 欄包含裝置支援的作業系統版本。

    輸出內容示例

    gcloud Firebase 測試 Android 模型清單輸出內容

  • models describe:進一步瞭解特定 Android MODEL_ID

    gcloud firebase test android models describe MODEL_ID
    

    輸出結果包含裝置型號的品牌、製造商、作業系統版本、支援的 API 級別、支援的應用程式二進位檔介面 (ABI)、發布日期,以及裝置是實體還是虛擬。

  • versions list:取得目前可用的 OS 版本清單進行測試。

    gcloud firebase test android versions list
    

    您可以使用指令輸出 (OS_VERSION_IDVERSION) 前兩欄的 ID,稍後針對 Android OS 版本執行測試。如果您未指定要測試的 Android 作業系統版本,系統會使用在 TAGS 欄下註明的預設版本。

    輸出內容示例

    gcloud android 版本清單

  • locales list:取得目前的語言代碼清單,以便進行測試。

    gcloud firebase test android versions list
    

    指令輸出的第一欄 LOCALE 包含 ID,您之後可以針對語言代碼執行測試。如果沒有指定要測試的語言代碼,則預設語言代碼會使用英文。

步驟 3:執行測試

現在,您已瞭解可用於測試應用程式的裝置型號、語言代碼和作業系統版本,就可以使用 gcloud firebase test android run 指令和 --device 旗標來指定裝置,執行 Robo 或檢測設備測試。

執行 Robo 測試

即使您沒有檢測設備測試,仍然可以尋找應用程式中的錯誤。使用 Robo 測試,對應用程式的使用者介面進行自動化審查。Robo 會透過應用程式使用者介面對各種路徑執行靜態分析,藉此測試應用程式,找出當機和其他潛在問題。

如要執行 Robo 測試,請執行下列指令範例:

gcloud firebase test android run \
  --type robo \
  --app app-debug-unaligned.apk \
  --device model=Nexus6,version=21,locale=en,orientation=portrait  \
  --device model=Nexus7,version=19,locale=fr,orientation=landscape \
  --timeout 90s \
  --client-details matrixLabel="Example matrix label"
  • 如果未指定 --type 值,則會使用 --type robo 參數。
  • 為協助您在 Firebase 控制台中找出測試矩陣,您可以使用選用的 --client-details matrixLabel="Example matrix label" 標記為測試矩陣加上標籤。
  • 您可以輸入 gcloud help firebase test android run,查看用於執行測試的完整指令列選項組合。

除了在指令列中指定這些引數之外,您也可以選擇在 YAML 格式的引數檔案中指定引數。請執行 gcloud topic arg-files,瞭解如何使用這項功能。

如要瞭解如何調查 Robo 的測試結果,請參閱「分析測試結果」。

執行檢測設備測試

現在,請使用 gcloud 指令列工具,在指定 Android 裝置設定上執行記事本應用程式的 Espresso 測試。請使用 instrumentation 測試類型在 app-debug-test-unaligned.apk 中執行測試,如下所示:

gcloud firebase test android run \
  --type instrumentation \
  --app app-debug-unaligned.apk \
  --test app-debug-test-unaligned.apk \
  --device model=Nexus6,version=21,locale=en,orientation=portrait  \
  --device model=Nexus7,version=19,locale=fr,orientation=landscape
  --client-details matrixLabel="Example matrix label"
  • 如果使用 --test 指定測試 APK,則系統會隱含 --type 檢測參數。
  • 為協助您在 Firebase 控制台中找出測試矩陣,您可以使用選用的 --client-details matrixLabel="Example matrix label" 標記為測試矩陣加上標籤。
  • 您可以輸入 gcloud help firebase test android run 來查看執行測試的完整指令列選項。

除了在指令列中指定這些引數之外,您也可以選擇在 YAML 格式的引數檔案中指定引數。請執行 gcloud topic arg-files,瞭解如何使用這項功能。

gcloud CLI 支援 Android Test Orchestrator。Orchestrator 需要 AndroidJUnitRunner v1.1 以上版本。如要啟用此功能,請使用 gcloud firebase test android run 搭配
--use-orchestrator 標記。如要停用,請使用 --no-use-orchestrator 標記。

您也可以使用上方未顯示的其他標記,控制 Test Lab 執行檢測設備測試的方式。舉例來說,您可以使用 --test-targets 旗標來測試單一類別,或測試 APK 所用的類別方法。您也可以使用 --num-flaky-test-attempts 標記,確認測試失敗是否真的出現不穩定的情形。這個標記會指定在一或多個測試案例因任何原因失敗時,應重新嘗試執行測試的次數。詳情請參閱 gcloud firebase test android run

檢測設備測試的程式碼涵蓋範圍報表

Test Lab 支援程式碼涵蓋率報表工具 EMMAJaCoCo。如果您已將任一工具整合至應用程式版本,就能使用一些其他引數執行 gcloud firebase test android run,以取得 Test Lab 測試的程式碼涵蓋率報表。如果未啟用 Android Test Orchestrator,請使用下列指令:

gcloud firebase test android run \
  --type instrumentation \
  --app your-app.apk \
  --test your-app-test.apk \
  --device model=TestDevice,version=AndroidVersion  \
  --environment-variables coverage=true,coverageFile="/sdcard/Download/coverage.ec" \
  --directories-to-pull /sdcard/Download

如果您同時使用 Android Test Orchestrator 產生程式碼涵蓋率報表,請按照下列步驟修改環境變數:

gcloud firebase test android run \
  --type instrumentation \
  --app your-app.apk \
  --test your-app-test.apk \
  --device model=TestDevice,version=AndroidVersion  \
  --environment-variables clearPackageData=true,coverage=true,coverageFilePath="/sdcard/Download/" \
  --directories-to-pull /sdcard/Download

Test Lab 執行測試完畢後,請在 Google Cloud Storage 中找到程式碼涵蓋率報表:

  1. 在終端機的測試結果資料表上方,開啟顯示 gcloud 工具的 Firebase 控制台連結。
  2. 按一下連結清單中的測試執行作業,即可開啟該執行作業的詳細資料頁面。
  3. 按一下「Test Results」,前往該執行測試結果的 Cloud Storage 值區。
  4. 開啟 artifacts/coverage.ec 即可查看程式碼涵蓋率報表。

分析測試結果

幾分鐘後,gcloud 工具會顯示測試結果的基本摘要:

指令測試結果

指令列測試執行作業的輸出內容還包含查看測試結果的連結。如要進一步瞭解如何解讀這些結果,請參閱分析適用於 Android 結果的 Firebase Test Lab

使用 Robo 測試來自訂登入和文字輸入內容

除非您使用 --no-auto-google-login 參數,否則 Robo 測試會自動完成使用 Google 帳戶進行驗證的登入畫面。也可以使用您提供的測試帳戶憑證完成自訂登入畫面。您也可以使用這個參數,為應用程式使用的其他文字欄位提供自訂輸入文字。

如要完成應用程式中的文字欄位,請使用 --robo-directives 參數,並提供以半形逗號分隔的 key-value 組合清單,其中 key 是目標 UI 元素的 Android 資源名稱,而 value 是文字字串。您也可以使用這個標記,讓 Robo 忽略特定的 UI 元素,例如[登出] 按鈕)。 系統支援 EditText 欄位,但不支援 WebView UI 元素中的文字欄位。

舉例來說,您可以使用下列參數自訂登入:

--robo-directives username_resource=username,password_resource=password

可用的指令和旗標

Test Lab gcloud CLI 提供多個指令和標記,可讓您以不同規格執行測試:

  • Android Test Orchestrator 標記:用於啟用 Orchestrator 的標記,可讓您在自己的叫用 Instrumentation 中執行每個應用程式測試。Test Lab 一律會執行最新版的 Orchestrator。

  • 遊戲迴圈測試旗標:一組設定旗標,用於啟用並控制「示範模式」,以模擬玩家在遊戲應用程式中的動作。進一步瞭解如何使用 Test Lab 執行遊戲迴圈測試

  • 統一資料分割標記 (Beta 版):此標記可指定您要平均分配測試案例的資料分割數量。資料分割會在不同裝置上同時執行。

  • 手動資料分割標記 (Beta 版):此標記可指定要在資料分割 (一組測試案例) 中執行的一組套件、類別和/或測試案例。資料分割會在不同的裝置上平行執行。

  • 網路流量設定檔標記 (Beta 版):此標記會指定測試在實體裝置中使用的網路設定檔。網路設定檔可模擬各種網路狀況,讓您可以在不穩定或不穩定的網路上測試應用程式效能。

使用 Test Lab 編寫 gcloud 指令

對於原本會使用 gcloud 指令列執行的行動應用程式測試指令,您可以使用殼層指令碼或批次檔案,自動執行這些指令。下列範例 bash 指令碼會以逾時兩分鐘執行檢測設備測試,並在測試成功執行時報告:

if gcloud firebase test android run --app my-app.apk --test my-test.apk --timeout 2m
then
    echo "Test matrix successfully finished"
else
    echo "Test matrix exited abnormally with non-zero exit code: " $?
fi

指令碼結束代碼

Test Lab 提供多個結束代碼,可協助您進一步瞭解使用指令碼或批次檔案執行的測試結果。

編寫 Test Lab 的結束代碼指令碼

結束程式碼 附註
0 已通過所有測試執行作業。
1 發生一般錯誤。可能的原因包括檔案名稱不存在或 HTTP/網路錯誤。
2 測試結束,因為提供了未知的指令或引數。
10 測試執行作業中的一或多個測試案例 (測試的類別或類別方法) 未通過。
15 發生未預期的錯誤,Firebase Test Lab 無法判斷測試矩陣是否通過。
18 這個測試執行的測試環境不相容,因為測試維度不相容。如果所選裝置類型不支援所選 Android API 級別,就會發生這個錯誤。
19 使用者已取消測試矩陣。
20 發生測試基礎架構錯誤。