開始透過 gcloud CLI 進行測試

本指南說明如何使用 gcloud CLI 執行檢測、Robo 或遊戲迴圈測試。

如需 gcloud 指令的完整清單,您可以在 Test Lab 中搭配 Android 應用程式使用,請參閱 gcloud firebase test android 的參考說明文件

事前準備

如果您尚未將 Firebase 新增至 Android 專案,請新增 Firebase

步驟 1:設定 gcloud CLI

  1. 下載 Google Cloud SDK
  2. 包括 gcloud CLI 工具。

  3. 確認安裝的是最新版本:
    gcloud components update
    
  4. 使用 Google 帳戶登入 gcloud CLI:
    gcloud auth login
    
  5. 在 gcloud 中設定 Firebase 專案,其中 PROJECT_ID 是 Firebase 專案的 ID:
    gcloud config set project PROJECT_ID
    

步驟 2:查看可用的測試裝置

使用下列 gcloud 指令查看可用於測試的測試裝置和語言代碼。

您也可以下載範例記事本應用程式,立即開始執行指令。使用位元檔案 app-debug-unaligned.apk 和檢測設備測試檔案 app-debug-test-unaligned.apk,這兩者皆位於 NotePad/app/build/outputs/apk/ 中。

  • models list:取得可供測試的 Android 裝置目前清單。

    gcloud firebase test android models list

    在指令輸出內容中:

    • MODEL_ID 包含 ID,可用於日後在裝置模型上執行測試。
    • OS_VERSION_ID 包含裝置支援的作業系統版本。

    輸出內容範例

    gcloud firebase test android models list 輸出內容

  • models describe:取得特定 Android MODEL_ID 的更多資訊。

    gcloud firebase test android models describe MODEL_ID

    輸出內容包含裝置型號的品牌、製造商、作業系統版本、支援的 API 級別、支援的應用程式二進位介面 (ABI)、發布日期,以及裝置是實體裝置還是虛擬裝置。

  • versions list:取得目前可用 OS 版本的清單,以便進行測試。

    gcloud firebase test android versions list

    您可以使用指令輸出內容的前兩個欄 (OS_VERSION_IDVERSION) 中的任一 ID,稍後針對 Android 作業系統版本執行測試。如果您未指定要測試的 Android 作業系統版本,系統會使用 TAGS 欄下所述的預設值。

    輸出內容範例

    gcloud android versions list

  • locales list:取得目前可用於測試的語言代碼清單。

    gcloud firebase test android versions list

    指令輸出的第 1 欄 (LOCALE) 包含 ID,可用於日後針對語言代碼執行測試。如果您未指定要測試的語言代碼,系統會使用英文做為預設語言。

步驟 3:執行測試

您現在已瞭解可用於測試應用程式的裝置型號、語言代碼和 OS 版本範圍,因此可以使用 gcloud firebase test android run 指令和 --device 標記指定裝置,以便執行 Robo 或檢測設備測試。

執行 Robo 測試

即使您沒有任何檢測測試,仍可找出應用程式中的錯誤。請使用 Robo 測試,自動檢查應用程式的使用者介面。Robo 測試會透過應用程式使用者介面,對各種路徑執行靜態分析,然後檢索應用程式,找出當機和其他潛在問題。

如要執行 Robo 測試,請執行下列範例指令:

gcloud firebase test android run \
  --type robo \
  --app app-debug-unaligned.apk \
  --device model=Nexus6,version=21,locale=en,orientation=portrait  \
  --device model=Nexus7,version=19,locale=fr,orientation=landscape \
  --timeout 90s \
  --client-details matrixLabel="Example matrix label"
  • 如果未指定 --type 值,則 --type robo 參數為隱含值。
  • 如要輕鬆在 Firebase 控制台中識別並找出測試矩陣,您可以使用選用的 --client-details matrixLabel="Example matrix label" 標記標示測試矩陣。
  • 如要查看執行測試的指令列選項完整清單,請輸入 gcloud help firebase test android run

除了在指令列上指定這些引數,您也可以選擇在 YAML 格式的引數檔案中指定引數。請執行 gcloud topic arg-files,瞭解如何使用這項功能。

如要瞭解如何調查 Robo 測試的測試結果,請參閱「分析測試結果」。

執行檢測設備測試

現在請使用 gcloud 指令列工具,在指定的 Android 裝置設定上執行 Notepad 應用程式的 Espresso 測試。使用 instrumentation 測試類型,執行 app-debug-test-unaligned.apk 中的測試,如下所示:

gcloud firebase test android run \
  --type instrumentation \
  --app app-debug-unaligned.apk \
  --test app-debug-test-unaligned.apk \
  --device model=Nexus6,version=21,locale=en,orientation=portrait  \
  --device model=Nexus7,version=19,locale=fr,orientation=landscape
  --client-details matrixLabel="Example matrix label"
  • 如果您使用 --test 指定測試 APK,--type 檢測設備參數會是隱含的。
  • 如要輕鬆在 Firebase 主控台中識別及找出測試矩陣,您可以使用選用的 --client-details matrixLabel="Example matrix label" 標記標示測試矩陣。
  • 如要查看執行測試的完整指令列選項,請輸入 gcloud help firebase test android run

除了在指令列上指定這些引數,您也可以選擇在 YAML 格式的引數檔案中指定引數。請執行 gcloud topic arg-files,瞭解如何使用這項功能。

gcloud CLI 支援 Android Test Orchestrator。Orchestrator 需要 AndroidJUnitRunner 1.1 以上版本。如要啟用,請使用 gcloud firebase test android run 搭配
--use-orchestrator 旗標。如要停用,請使用 --no-use-orchestrator 標記。

您也可以使用上述未顯示的其他標記,控制 Test Lab 執行檢測測試的方式。舉例來說,您可以使用 --test-targets 標記來測試單一類別或測試 APK 使用的類別方法。您也可以使用 --num-flaky-test-attempts 標記,找出失敗的測試是否確實不穩定。此標記可指定,如果有一個或多個測試案例因任何原因而失敗,則應重試測試執行次數。詳情請參閱 gcloud firebase test android run

檢測設備測試的程式碼覆蓋率報表

Test Lab 支援程式碼涵蓋率報表工具 EMMAJaCoCo。如果您已將任一工具整合至應用程式的建構作業,您可以搭配一些額外的引數執行 gcloud firebase test android run,取得 Test Lab 測試的程式碼涵蓋率報告。如果未啟用 Android Test Orchestrator,請使用以下指令:

gcloud firebase test android run \
  --type instrumentation \
  --app your-app.apk \
  --test your-app-test.apk \
  --device model=TestDevice,version=AndroidVersion  \
  --environment-variables coverage=true,coverageFile="/sdcard/Download/coverage.ec" \
  --directories-to-pull /sdcard/Download

如果您在產生程式碼涵蓋率報表的同時也使用 Android 測試指揮中心,請依下列方式修改環境變數:

gcloud firebase test android run \
  --type instrumentation \
  --app your-app.apk \
  --test your-app-test.apk \
  --device model=TestDevice,version=AndroidVersion  \
  --environment-variables clearPackageData=true,coverage=true,coverageFilePath="/sdcard/Download/" \
  --directories-to-pull /sdcard/Download

Test Lab 完成執行測試後,請在 Google Cloud Storage 中查看程式碼涵蓋率報表:

  1. 開啟 gcloud 工具在終端機的測試結果表格上方列印的 Firebase 主控台連結。
  2. 按一下該連結中清單中的測試執行作業,即可開啟該執行作業的詳細資料頁面。
  3. 按一下「測試結果」,前往該執行作業的測試結果 Cloud Storage 值層。
  4. 開啟 artifacts/coverage.ec 即可查看程式碼涵蓋率報表。

分析測試結果

幾分鐘後,gcloud 工具會列印測試結果的基本摘要:

指令測試結果

指令列測試執行作業的輸出內容也會包含連結,可讓您查看測試結果。如要進一步瞭解如何解讀這些結果,請參閱「分析 Android 結果的 Firebase Test Lab」。

使用 Robo 測試自訂登入和文字輸入

除非您使用 --no-auto-google-login 參數,否則 Robo 測試會自動完成使用 Google 帳戶進行驗證的登入畫面。它也可以使用您提供的測試帳戶憑證,完成自訂登入畫面。您也可以使用這個參數,為應用程式使用的其他文字欄位提供自訂輸入文字。

如要完成應用程式中的文字欄位,請使用 --robo-directives 參數,並提供以半形逗號分隔的 key-value 組合清單,其中 key 是目標 UI 元素的 Android 資源名稱,而 value 是文字字串。您也可以使用此旗標,告知 Robo 忽略特定 UI 元素 (例如「logout」按鈕)。系統支援 EditText 欄位,但不支援 WebView UI 元素中的文字欄位。

舉例來說,您可以使用下列參數進行自訂登入:

--robo-directives username_resource=username,password_resource=password

可用的指令和旗標

Test Lab gcloud CLI 提供多個指令和標記,可讓您執行不同規格的測試:

  • Android Test Orchestrator 旗標:這個旗標可啟用 Orchestrator,讓您在應用程式自身叫用的 Instrumentation 中執行每項應用程式測試。Test Lab 一律會執行最新版的 Orchestrator。

  • 遊戲迴圈測試標記:一組設定標記,可啟用及控制「示範模式」,用於模擬遊戲應用程式中的玩家動作。進一步瞭解如何使用 Test Lab 執行遊戲迴圈測試

  • Uniform Sharding flag (beta 版):這個旗標可指定您要將測試案例平均分配至哪些資料分割中。並行在不同的裝置上執行。

  • 手動分割旗標 (Beta 版):這個旗標會指定一組要執行的分割區 (一組測試案例) 的套件、類別和/或測試案例。分割區會在不同的裝置上並行執行。

  • 網路流量設定檔標記 (Beta 版):這個標記會指定測試在實體裝置上使用的網路設定檔。網路設定檔可模擬各種網路狀況,讓您在不可靠或不穩定的網路上測試應用程式效能。

使用 Test Lab 編寫 gcloud 指令

您可以使用 Shell 指令碼或批次檔案,自動執行原本要透過 gcloud 指令列執行的行動應用程式測試指令。以下範例 bash 指令碼會以兩分鐘的逾時期限執行檢測設備測試,並回報測試執行是否成功:

if gcloud firebase test android run --app my-app.apk --test my-test.apk --timeout 2m
then
    echo "Test matrix successfully finished"
else
    echo "Test matrix exited abnormally with non-zero exit code: " $?
fi

指令碼結束程式碼

Test Lab 提供多個結束碼,可讓您更瞭解使用指令碼或批次檔案執行的測試結果。

Test Lab 的腳本退出代碼

結束代碼附註
0 所有測試執行作業均已通過。
1 發生一般錯誤。可能的原因包括:檔案名稱不存在或 HTTP/網路錯誤。
2 測試已結束,因為提供不明的命令或引數。
10 測試執行期間,一或多個測試案例 (測試的類別或類別方法) 未通過。
15 Firebase Test Lab 發生未預期的錯誤,因此無法判斷測試矩陣是否通過或失敗。
18 由於測試維度不相容,因此系統不支援這項測試執行的測試環境。如果所選裝置類型不支援所選 Android API 級別,就可能發生此錯誤。
19 使用者已取消測試矩陣。
20 發生測試基礎架構錯誤。