開始透過 gcloud CLI 進行測試

本指南說明如何使用 gcloud CLI 執行檢測、Robo 或遊戲迴圈測試。

如需 gcloud 指令的完整清單，您可以在 Test Lab 中搭配 Android 應用程式使用，請參閱 gcloud firebase test android 的參考說明文件。

事前準備

如果您尚未將 Firebase 新增至 Android 專案，請新增 Firebase。

步驟 1：設定 gcloud CLI

  1. 下載 Google Cloud SDK

    2. 包括 gcloud CLI 工具。

  2. 確認安裝的是最新版本：
    gcloud components update
  3. 使用 Google 帳戶登入 gcloud CLI：
    gcloud auth login
  4. 在 gcloud 中設定 Firebase 專案，其中 PROJECT_ID 是 Firebase 專案的 ID：
    gcloud config set project PROJECT_ID

步驟 2：查看可用的測試裝置

使用下列 gcloud 指令查看可用於測試的測試裝置和語言代碼。

您也可以下載 記事本應用程式範例，立即開始執行指令。使用位於 NotePad/app/build/outputs/apk/ 中的二進位檔案 app-debug-unaligned.apk 和檢測設備測試檔案 app-debug-test-unaligned.apk。

  • models list：取得可供測試的 Android 裝置目前清單。

    gcloud firebase test android models list

    在指令輸出內容中：

    • 欄 MODEL_ID 包含 ID，可用於日後在裝置模型上執行測試。
    • 欄 OS_VERSION_ID 包含裝置支援的作業系統版本。

    輸出內容範例

    gcloud firebase test android models list 輸出內容

  • models describe：進一步瞭解特定 Android MODEL_ID。

    gcloud firebase test android models describe MODEL_ID

    輸出結果包含裝置型號的品牌、製造商、OS 版本、支援的 API 級別、支援的應用程式二進位檔介面 (ABI)、發行日期，以及裝置為實體或虛擬。

  • versions list：取得目前可用的 OS 版本清單進行測試。

    gcloud firebase test android versions list

    您可以使用指令輸出內容的前兩個資料欄 (OS_VERSION_ID 和 VERSION) 中的任一 ID，稍後針對 Android 作業系統版本執行測試。如果您未指定要測試的 Android 作業系統版本，系統會使用 TAGS 欄下所述的預設值。

    輸出內容範例

    gcloud android versions list

  • locales list：取得目前可用於測試的語言代碼清單。

    gcloud firebase test android versions list

    指令輸出的第 1 欄 (LOCALE) 包含 ID，可用於日後針對語言代碼執行測試。如果您未指定要測試的語言代碼，則預設語言代碼會使用英文。

步驟 3：執行測試

您現在已瞭解可用於測試應用程式的裝置型號、語言代碼和 OS 版本範圍，因此可以使用 gcloud firebase test android run 指令和 --device 標記指定裝置，以便執行 Robo 或檢測設備測試。

執行 Robo 測試

即使您沒有任何檢測測試，仍可找出應用程式中的錯誤。請使用 Robo 測試，自動檢查應用程式的使用者介面。Robo 測試會透過應用程式的使用者介面，對各種路徑執行靜態分析，然後檢索應用程式，找出當機和其他潛在問題。

如要執行 Robo 測試，請執行下列範例指令：

gcloud firebase test android run \
  --type robo \
  --app app-debug-unaligned.apk \
  --device model=Nexus6,version=21,locale=en,orientation=portrait  \
  --device model=Nexus7,version=19,locale=fr,orientation=landscape \
  --timeout 90s \
  --client-details matrixLabel="Example matrix label"
  • 如果未指定 --type 值，則 --type robo 參數為隱含值。
  • 如要輕鬆在 Firebase 控制台中識別並找出測試矩陣，您可以使用選用的 --client-details matrixLabel="Example matrix label" 標記標示測試矩陣。
  • 如要查看執行測試的指令列選項完整清單，請輸入 gcloud help firebase test android run。

除了在指令列中指定這些引數之外，您也可以選擇在 YAML 格式的引數檔案中指定引數。請執行 gcloud topic arg-files，瞭解如何使用這項功能。

如要瞭解如何調查 Robo 測試的測試結果，請參閱「分析測試結果」。

執行檢測設備測試

現在請使用 gcloud 指令列工具，在指定的 Android 裝置設定上執行 Notepad 應用程式的 Espresso 測試。使用 instrumentation 測試類型，執行 app-debug-test-unaligned.apk 中的測試，如下所示：

gcloud firebase test android run \
  --type instrumentation \
  --app app-debug-unaligned.apk \
  --test app-debug-test-unaligned.apk \
  --device model=Nexus6,version=21,locale=en,orientation=portrait  \
  --device model=Nexus7,version=19,locale=fr,orientation=landscape
  --client-details matrixLabel="Example matrix label"
  • 如果使用 --test 指定測試 APK，--type 檢測設備參數會是隱含的。
  • 如要輕鬆在 Firebase 主控台中識別及找出測試矩陣，您可以使用選用的 --client-details matrixLabel="Example matrix label" 標記標示測試矩陣。
  • 您可以輸入 gcloud help firebase test android run 來查看執行測試的完整指令列選項。

除了在指令列上指定這些引數，您也可以選擇在 YAML 格式的引數檔案中指定引數。請執行 gcloud topic arg-files，瞭解如何使用這項功能。

gcloud CLI 支援 Android Test Orchestrator。Orchestrator 需要 AndroidJUnitRunner 1.1 以上版本。如要啟用，請使用 gcloud firebase test android run 搭配
--use-orchestrator 旗標。如要停用，請使用 --no-use-orchestrator 標記。

您也可以使用上述未顯示的其他標記，控制 Test Lab 執行檢測測試的方式。舉例來說，您可以使用 --test-targets 旗標來測試單一類別，或測試 APK 所用的類別方法。您也可以使用 --num-flaky-test-attempts 標記，找出失敗的測試是否確實不穩定。此標記可指定，如果有一個或多個測試案例因任何原因而失敗，則應重試測試執行次數。詳情請參閱 gcloud firebase test android run。

檢測設備測試的程式碼涵蓋範圍報表

Test Lab 支援程式碼涵蓋率報表工具 EMMA 和 JaCoCo。如果您已將任一工具整合至應用程式的建構作業，您可以搭配一些額外引數執行 gcloud firebase test android run，取得 Test Lab 測試的程式碼涵蓋率報告。如果未啟用 Android Test Orchestrator，請使用以下指令：

gcloud firebase test android run \
  --type instrumentation \
  --app your-app.apk \
  --test your-app-test.apk \
  --device model=TestDevice,version=AndroidVersion  \
  --environment-variables coverage=true,coverageFile="/sdcard/Download/coverage.ec" \
  --directories-to-pull /sdcard/Download

如果您在產生程式碼涵蓋率報表的同時也使用 Android 測試指揮中心，請依下列方式修改環境變數：

gcloud firebase test android run \
  --type instrumentation \
  --app your-app.apk \
  --test your-app-test.apk \
  --device model=TestDevice,version=AndroidVersion  \
  --environment-variables clearPackageData=true,coverage=true,coverageFilePath="/sdcard/Download/" \
  --directories-to-pull /sdcard/Download

當 Test Lab 完成執行測試後，請在 Google Cloud Storage 中查看程式碼涵蓋率報表：

  1. 開啟 Firebase 主控台連結，該連結會在終端機的測試結果表格上方由 gcloud 工具列印出來。
  2. 按一下連結清單中的測試執行作業，即可開啟該執行作業的詳細資料頁面。
  3. 按一下「Test Results」，前往該執行測試結果的 Cloud Storage 值區。
  4. 開啟 artifacts/coverage.ec 即可查看程式碼涵蓋率報表。

分析測試結果

幾分鐘後，gcloud 工具會列印測試結果的基本摘要：

指令測試結果

指令列測試執行作業的輸出內容也包含可查看測試結果的連結。如要進一步瞭解如何解讀這些結果，請參閱「分析 Android 結果的 Firebase Test Lab」。

使用 Robo 測試來自訂登入和文字輸入內容

除非您使用 --no-auto-google-login 參數，否則 Robo 測試會自動完成使用 Google 帳戶進行驗證的登入畫面。也可以使用您提供的測試帳戶憑證完成自訂登入畫面。您也可以使用這個參數，為應用程式使用的其他文字欄位提供自訂輸入文字。

如要完成應用程式中的文字欄位，請使用 --robo-directives 參數，並提供以逗號分隔的 key-value 組合清單，其中 key 是目標 UI 元素的 Android 資源名稱，而 value 是文字字串。您也可以使用此旗標，告知 Robo 忽略特定 UI 元素 (例如「logout」按鈕)。支援 EditText 欄位，但不支援 WebView UI 元素中的文字欄位。

舉例來說，您可以使用下列參數自訂登入：

--robo-directives username_resource=username,password_resource=password

可用的指令和旗標

Test Lab gcloud CLI 提供多個指令和標記，可讓您執行不同規格的測試：

  • Android Test Orchestrator 旗標：用於啟用 Orchestrator 的旗標，這項工具可讓您在應用程式自身叫用的 Instrumentation 中執行每項應用程式測試。Test Lab 一律會執行最新版的 Orchestrator。

  • 遊戲迴圈測試旗標：一組設定旗標，用於啟用並控制「示範模式」，以模擬玩家在遊戲應用程式中的動作。進一步瞭解如何使用 Test Lab 執行遊戲迴圈測試。

  • Uniform Sharding flag (beta 版)：這個旗標可指定您想將測試案例平均分配至哪些資料分割中。並行在不同的裝置上執行。

  • 手動分割旗標 (Beta 版)：這個旗標會指定要在分割區 (一組測試案例) 中執行的一組套件、類別和/或測試案例。分割區會在不同的裝置上並行執行。

  • 網路流量設定檔標記 (Beta 版)：這個標記可指定測試在實體裝置上使用的網路設定檔。網路設定檔可模擬各種網路狀況，讓您在不可靠或不穩定的網路上測試應用程式效能。

使用 Test Lab 編寫 gcloud 指令

您可以使用 Shell 指令碼或批次檔案，自動執行原本要透過 gcloud 指令列執行的行動應用程式測試指令。以下範例 bash 指令碼會以兩分鐘的逾時期限執行檢測設備測試，並回報測試是否已順利完成：

if gcloud firebase test android run --app my-app.apk --test my-test.apk --timeout 2m
then
    echo "Test matrix successfully finished"
else
    echo "Test matrix exited abnormally with non-zero exit code: " $?
fi

指令碼結束代碼

Test Lab 提供多個結束碼，可讓您更瞭解使用指令碼或批次檔案執行的測試結果。

Test Lab 的腳本退出代碼

結束代碼附註
0 已通過所有測試執行作業。
1 發生一般錯誤。可能的原因包括：不存在的檔案名稱或 HTTP/網路錯誤。
2 測試已結束，因為提供不明的命令或引數。
10 測試執行期間，一或多個測試案例 (測試的類別或類別方法) 未通過。
15 Firebase Test Lab 發生未預期的錯誤，因此無法判斷測試矩陣是否通過或失敗。
18 由於測試維度不相容，因此系統不支援這項測試執行的測試環境。如果所選裝置類型不支援所選 Android API 級別，就可能發生此錯誤。
19 使用者已取消測試矩陣。
20 發生測試基礎架構錯誤。