将 Test Lab 集成到您的 CI/CD 系统中

1.简介

上次更新日期:2022 年 4 月 7 日

如何使用 CI/CD 系统运行移动设备测试

运行移动测试可能很困难:许多应用在不同的平台、设备和 API 版本上运行。应用开发者希望在尽可能多的配置上进行测试,以便在用户发现问题之前发现问题。但成本和资源限制了单个开发者可以投入的测试设备数量和手动维护量。当开发流程扩大时,尤其是对于持续集成/持续开发 (CI/CD) 系统,测试流程需要自动化,同时最大限度降低维护成本和维护工作量。

有助于您了解应用在用户的设备,Firebase Test Lab 在我们的数据中心托管了一系列移动实体设备和虚拟设备。我们还提供 Google Cloud CLI,这是一个独立于平台的命令行工具,可编排在数据中心内的设备上运行的测试。借助 gcloud CLI,您可以轻松将 Test Lab 的云端测试解决方案集成到现有的 CI/CD 工作流中。

跨平台支持

Test Lab 可为 Android 和 iOS 应用提供测试解决方案,并为 Unity 等移动游戏提供特殊支持。测试选项涵盖 Android Espresso、UI Automator 和 iOS XCTest 等热门测试框架。借助我们的自动抓取工具 Robo,测试实验室甚至无需任何测试代码即可运行测试。

无硬件要求

Test Lab 在 Google 数据中心中托管实体设备,在 Google Cloud 中托管虚拟设备。您只需将测试发送到 Test Lab 并等待结果。

快速且可靠

同时运行多个测试用例可能需要很长时间,导致 CI/CD 流程受阻。借助 Test Lab,您可以轻松对测试进行分片,并在多台设备上并行运行这些测试。您还可以检测不稳定的情况,这是移动测试的一个常见痛点。

学习内容

  • 如何构建测试工件
  • 如何使用 gcloud CLI 运行移动设备测试
  • 如何设置 Jenkins CI
  • 如何使用 Jenkins CI 运行移动设备测试
  • 如何配置测试以便通过 CI 系统扩容

此 Codelab 重点介绍如何运行测试。对于不相关的概念,我们仅会略作介绍,但是会提供相应代码块供您复制和粘贴。

您需要满足的条件

如果您想从头开始构建内容,则需要使用 Android Studio 运行 Android 测试,或使用 XCode 运行 iOS 测试。或者,您只需携带自己,我们会提供工件。

2. 使用 gcloud CLI 运行测试

构建 Android 应用 APK 和测试 APK

如需使用 Test Lab 运行测试,请先构建 Android 应用 APK 和测试 APK,其中包含要在硬件设备或模拟器上运行的插桩测试。如果您已有有效的代码库,则可以构建自己的 APK,也可以使用适用于 Espresso 的 BasicSample

如需使用 Gradle 命令构建 APK,您必须安装 Android SDK。如果您的机器上未安装 Android Studio,请安装 Android Studio 和 Android SDK,并使用您的 Android SDK 目录设置 ANDROID_HOME 环境。例如,在 ~/.bash_profile 文件中,添加以下行:

export ANDROID_HOME=~/Android/Sdk # For linux
export ANDROID_HOME=~/Library/Android/sdk  # For MacOS

然后,运行以下命令以克隆代码并构建 APK:

git clone https://github.com/android/testing-samples.git
cd testing-samples/ui/espresso/BasicSample/
./gradlew assembleDebug  # for generating app apk
./gradlew assembleDebugAndroidTest # for generating testing apk

运行克隆和构建命令后,您可以在以下位置找到应用 APK 和测试 APK:

app/build/outputs/apk/debug/app-debug.apk
app/build/outputs/apk/androidTest/debug/app-debug-androidTest.apk

或者,您也可以使用以下选项获取测试 APK 和应用 APK:

  • 如需在 Android Studio 中构建 APK,请按照在 Android Studio 中测试中的说明操作。
  • 下载示例 Notepad 应用。使用二进制文件 app-debug-unaligned.apk 和插桩测试文件 app-debug-test-unaligned.apk(位于 NotePad/app/build/outputs/apk/ 中)。

如果您有适用于 iOS 应用的有效源代码,则可以编写 XCTest 并根据应用和测试构建 ZIP 文件

使用 gcloud CLI 通过 Test Lab 运行测试

在本部分中,您将创建一个 Firebase 项目并配置您的本地 Google Cloud SDK 环境。如需了解详情,请参阅开始使用 gcloud CLI 进行测试

设置 gcloud CLI

  1. 下载 Google Cloud SDK,其中包括 gcloud CLI 工具。
  2. 验证您安装的是否为最新版本:
gcloud components update
  1. 使用您的 Google 账号登录 gcloud CLI:
gcloud auth login
  1. 在 gcloud CLI 中设置您的 Firebase 项目,其中 PROJECT_ID 是您的 Firebase 项目 ID。您可以在 Firebase 控制台网址中找到项目 ID,该网址遵循以下命名惯例:https://console.firebase.google.com/project/[PROJECT_ID]/...
gcloud config set project PROJECT_ID

如果您还没有 Firebase 项目,请在 Firebase 控制台中创建一个。

使用构建的 APK 运行测试

在本部分中,您将在 Test Lab 的默认设备(搭载 API 级别 28 的 Pixel 3)上运行插桩测试。如果你想使用其他设备,请查看可用设备

使用您在“构建 Android 应用 APK 并测试 APK”中构建的应用和测试 APK,使用以下命令运行 Android 插桩测试:

gcloud firebase test android run \
  --type instrumentation \
  --app app/build/outputs/apk/debug/app-debug.apk \
  --test app/build/outputs/apk/androidTest/debug/app-debug-androidTest.apk

分析测试结果

您可以使用以下任一选项分析测试结果:

  • gcloud summary - 测试完成后,gcloud CLI 会输出测试结果的基本摘要。
  • gcloud 退出代码 - 测试完成后,如果测试通过,该命令会以 0 退出。如果测试失败,则命令会退出并返回非零退出代码。
  • Firebase 控制台 - gcloud CLI 会显示指向 Firebase 控制台的链接。该链接遵循命名惯例 https://console.firebase.google.com/project/PROJECT_ID/testlab/...。如需了解详情,请参阅解读单次测试执行的结果
  • JUnit XML 文件 - gcloud CLI 会输出以下内容:
Raw results will be stored in your Cloud Storage bucket at [https://console.developers.google.com/storage/browser/test-lab-xxxxx/xxxxx/]

test-lab-xxxxx/xxxxx 是用于存储测试工件和结果的 Cloud Storage 存储桶。如需找到包含测试结果的 JUnit XML 文件,请打开链接并前往 blueline-28-en-portrait/test_result_1.xml

3. 使用 Jenkins CI 进行设置

在本部分中,您将使用 Jenkins CI(一种常用的 CI 系统)通过 Test Lab 运行测试。如果您想使用其他 CI 系统,请参阅运行大型测试套件的高级最佳实践,以及 BitriseCircle CI 等其他 CI 系统的文档。您可以使用 Flank 作为 gcloud CLI 的替代方案。

为 Jenkins 启用 gcloud CLI

在将 Test Lab 与 Jenkins 搭配使用之前,您必须启用所需的 API 并设置一个服务账号,以便 Jenkins 使用该服务账号通过 gcloud CLI 进行身份验证。

为 Jenkins 添加 Google Cloud 服务账号

服务账号是专用于服务集成的受限账号。这些账号可对特定服务进行精细控制,并且不需要接受垃圾内容检查或人机识别系统验证,这两类操作可能会阻止 CI 构建。

如需创建服务账号,请按照以下步骤操作:

  1. 在 Google Cloud 控制台中打开服务账号页面。
  2. 点击创建服务账号,添加名称说明,然后点击创建并继续
  3. 选择角色下拉菜单中,选择基本,然后选择 Editor
  4. 点击继续,然后点击完成

接下来,您需要创建并下载一个身份验证密钥,以便 Jenkins 以您创建的服务账号身份进行身份验证。

如需创建和下载服务账号密钥,请按以下步骤操作:

  1. 在 Google Cloud 控制台中的服务账号页面中,点击与您创建的账号关联的电子邮件地址。
  2. 选择密钥,然后点击添加密钥创建新密钥
  3. 选择 JSON,然后点击创建
  4. 当系统提示您下载文件时,点击确定。将文件下载到计算机上安全的位置。您稍后在配置 Jenkins 时需要用到此文件。

如需详细了解如何创建服务账号,请参阅创建服务账号

启用所需的 Google Cloud API

借助 Cloud Testing API,您可以在 Google 基础架构上运行测试。您在完成“使用 gcloud CLI 运行测试”时启用了此 API。借助 Cloud Tool Results API,您可以以编程方式访问测试结果。

  1. 打开 Google Developers Console API 库
  2. 在 Firebase 控制台顶部的搜索栏中,输入每个必需 API(Cloud Testing APICloud Tool Results API)的名称。系统会显示所请求 API 的概览页面。
  3. 在每个 API 的概览页面上,点击启用 API

安装并设置 Jenkins

您可以在 Linux、macOS、Windows 和许多其他环境中安装并设置 Jenkins CI。本 Codelab 的某些详细信息适用于在 Linux 上安装和运行 Jenkins CI,包括在文件路径中使用斜杠 (/)。

如需在运行 Linux 或 Windows 的计算机上下载并安装 Jenkins,请按照安装 Jenkins 的说明操作。安装 Jenkins 后,请按照相同的 Jenkins 安装说明完成设置,然后使用 http://localhost:8080 访问 Jenkins 信息中心。

验证已安装的插件

Jenkins 支持不同的版本控制系统。在此 Codelab 中,您将使用 Git 运行之前的测试。为了获得更好的 gcloud CLI 运行体验,您需要安装 GCloud SDK 插件。

  1. 在 Jenkins 信息中心中,点击 Manage Jenkins,然后点击 Manage Plugins
  2. 搜索 GitGCloud SDK 插件并进行安装(如果尚未安装)。

配置 Android SDK 和 Google Cloud SDK 的位置

现在,您需要指示 Jenkins 在哪里可以找到 Google Cloud SDK 和 Android SDK。

如需为 Jenkins 配置 Google Cloud SDK 和 Android SDK,请按以下步骤操作:

  1. 在 Jenkins 信息中心中,点击 Manage Jenkins,然后点击 Global Tool Configuration
  2. Google Cloud SDK 部分,点击 Add Google Cloud SDK(添加 Google Cloud SDK)。
  3. 名称字段中,为 Google Cloud SDK 实例输入一个容易记住的名称,例如 GCloud-SDK。
  4. 输入您的 Google Cloud SDK 主目录,例如 /opt/google-cloud-sdk
  5. 点击保存
  6. 打开信息中心 >管理 Jenkins >配置系统
  7. 选中环境变量复选框,然后点击添加
  8. Name 字段中,输入 ANDROID_HOME。在 Value 字段中,输入 Android SDK 的位置,例如 /opt/Android/Sdk
  9. 点击 Tool Locations(工具位置)复选框,然后点击 Add(添加)。从 Name 下拉列表中,选择您在全局工具配置中添加的 Google Cloud SDK 实例的名称。
  10. Home 字段中,输入您的 Google Cloud SDK 的位置,例如 /opt/google-cloud-sdk
  11. 点击保存

将服务账号凭据添加到 Jenkins

现在,您可以将 gcloud CLI 服务账号凭据添加到 Jenkins,以便 Jenkins 进行身份验证并成功运行 gcloud CLI 命令。

  1. 在 Jenkins 信息中心中,点击 Manage Jenkins(管理 Jenkins),然后点击 Manage Credentials(管理凭据)。
  2. 将范围限定到 Jenkins 部分中,点击 (global) 网域链接,然后点击 Add Credentials
  3. 种类下拉列表中,选择私钥中的 Google 服务账号
  4. Project Name 字段中,输入您的 Firebase 项目名称。
  5. 选择 JSON 密钥,然后点击浏览,并找到您保存服务账号密钥的位置。
  6. 点击创建

您现在可以为 Test Lab 配置 Jenkins 自动构建了。

4. 使用 Jenkins CI 运行 Test Lab 测试

现在,您已经设置好 Jenkins,接下来我们将整合所有内容,使用 Jenkins 运行相同的测试。

您可以将 Jenkins 配置为运行自动构建,并在每次签入应用更新时运行测试。您还可以将 Jenkins 配置为定期运行构建。如需详细了解如何在 Jenkins 中配置构建,请参阅配置自动构建

创建和配置 Jenkins 项目

创建一个项目,以使用 Test Lab 对您的应用运行持续集成测试。

创建 Jenkins 项目

  1. 浏览到 http://localhost:8080 以打开 Jenkins 信息中心。
  2. 在 Jenkins 信息中心中,点击 New Item(新建项目)。
  3. Item name 字段中输入项目的名称,然后点击 Freestyle project 以创建使用单个 build 配置的项目。
  4. 点击确定。如需完成项目配置,请按顺序完成其余部分。

配置源代码管理

  1. Source Code Management 标签页中,选择 Git
  2. Repository 网址 字段中输入 https://github.com/android/testing-samples.git

配置构建环境

在“Build Environment”(构建环境)部分,您可以配置构建特性。请按以下步骤启用 Google Cloud 身份验证:

  1. Build Environment(构建环境)标签页中,选中 GCloud SDK authentication(GCloud SDK 身份验证)复选框,然后选择您在添加 Google Cloud 安装信息时选择的安装名称。
  2. Google 凭据下拉列表中,选择您配置的服务账号凭据。

添加了 Gradle 构建步骤以重新构建 APK 软件包

  1. 向下滚动到 Build 部分,点击 Add build step,然后选择 Execute shell
  2. 在应用的主目录中添加构建步骤以运行下列命令:
cd ui/espresso/BasicSample/
./gradlew assembleDebug  # for generating app apk
./gradlew assembleDebugAndroidTest # for generating testing apk

向 Jenkins 添加 gcloud CLI 构建步骤

现在,您可以使用 gcloud CLI 命令行向 Jenkins 添加构建步骤以运行 Test Lab 了。

如需添加 gcloud CLI 构建步骤,请添加新的 Execute shell 构建步骤,并输入以下命令:

gcloud config set project PROJECT_ID
gcloud firebase test android run \
--app ${WORKSPACE}/ui/espresso/BasicSample/app/build/outputs/apk/debug/app-debug.apk
--test ${WORKSPACE}/ui/espresso/BasicSample/app/build/outputs/apk/androidTest/debug/app-debug-androidTest.apk

完成项目设置后,向下滚动到页面底部并保存配置。系统会将您重定向到新项目的首页。

使用 Jenkins 运行测试

现在,您可以构建 Jenkins 项目并运行测试,就像使用 gcloud CLI 运行手动测试一样。

如需使用 Jenkins 运行测试,请按以下步骤操作:

  1. 如需手动触发构建,请点击立即构建
  2. 如需查看进度和结果,请点击新构建 >控制台输出

如果您没有看到错误,恭喜!您刚刚设置一个项目,一键在 Pixel 2 设备上运行测试。如果您遇到错误,请参阅问题排查

5. 运行大型测试套件的高级最佳实践

如果您想同时运行多个测试,请遵循以下最佳实践,以确保您的测试快速可靠地运行。

扩大对多种设备配置的覆盖范围

您可以轻松地将多个设备添加到 gcloud CLI 构建步骤。您可以查看并选择可用的设备、版本、语言区域和屏幕方向。例如,以下命令在两台设备上运行测试:

  • 一台处于竖屏模式且 API 级别为 30 且语言区域为英语的虚拟 Google Pixel 2
  • 一部 Samsung Galaxy S20 实体设备,横向模式为 API 级别 29,语言设置为法语
gcloud firebase test android run \
  --type instrumentation \
  --app app-debug.apk \
  --test app-debug-test.apk \
  --device model=Pixel2,version=30,locale=en,orientation=portrait  \
  --device model=x1q,version=29,locale=fr,orientation=landscape

使用 gcloud CLI YAML 配置文件

如果您希望在一个位置或使用源代码控制系统管理参数,则可以在 YAML 格式的参数文件中指定这些参数。如需了解如何使用此功能,请运行 gcloud topic arg-files

将测试分片以并行运行

测试分片可将一组测试划分为单独运行的子组(分片)。Test Lab 会自动使用多个设备并行运行每个分片,让 Test Lab 能够更快地完成整套测试。如需了解详情,请参阅启用分片

如需启用分片,请使用 gcloud beta 渠道,并在 gcloud CLI 构建步骤中添加 –num-uniform-shards–test-targets-for-shard 标志。例如,如需将测试分片为五个执行并并行运行,请运行以下命令:

gcloud beta firebase test android run \
  --type instrumentation \
  --app app-debug.apk \
  --test app-debug-test.apk \
  --num-uniform-shards 5

启用不稳定检测

移动设备测试通常不稳定。即使采用相同的设置,有时测试会通过,有时可能会失败。您可以使用 –num-flaky-test-attempts gcloud CLI 标志来检测失败的测试是否不稳定。此标志用于指定一个或多个测试用例因任何原因而失败时应重新尝试执行测试的次数。

例如,如需在初始失败运行后再重试失败的测试用例三次,请指定以下内容:

gcloud beta firebase test android run \
  --type instrumentation \
  --app app-debug.apk \
  --test app-debug-test.apk \
  --num-flaky-test-attempts 3

6. 恭喜

恭喜,您已成功使用 CI 系统运行了您的第一个 Test Lab 测试!

您构建应用和测试 APK,并使用 gcloud CLI 通过 Test Lab 运行了插桩测试。您还将设置 Jenkins 项目来自动执行相同的测试。

现在,您已了解将 Test Lab 集成到 CI/CD 系统中的关键步骤。

后续步骤

查看如何使用 Firebase Emulator Suite 设置 CI

深入阅读

参考文档