分析测试结果

无论您是通过Firebase 控制台还是 Firebase CLI运行测试,都可以在 Firebase 控制台中找到详细的测试结果。请继续阅读下文,了解如何分析测试结果。

查看测试结果

上传或选择测试并指定测试设备后,您可以在 Firebase 控制台的 Test Lab 信息中心内查看测试结果摘要(包括日志、视频和屏幕截图)。您的原始测试结果也会存储在 Google Cloud 存储分区中,以便与 CI 系统配合使用。

如需查看测试结果,请前往 Firebase 控制台Test Lab 部分。

您可以在此找到包含先前所有测试运行记录的列表。了解一些有关测试矩阵的概念有助于理解测试结果:当您针对所选的设备和配置运行一项或一组测试用例时,Test Lab 会成批为您的应用运行测试,然后将结果显示为一个测试矩阵

设备 × 测试作业 = 测试矩阵

设备
运行测试的实体设备或虚拟设备(仅限 Android),例如手机、平板电脑或穿戴式设备。测试矩阵中的设备由设备型号、操作系统版本、屏幕方向和语言区域(也称为地理位置和语言设置)标识。
测试、测试作业
需要在设备上运行的一项测试(或一组测试用例)。您可以在每个设备上运行一项测试,也可以视需要对测试进行分片,并在不同的设备上运行其测试用例。
测试矩阵
测试矩阵中包含测试作业的状态和测试结果。如果矩阵中的任何测试作业失败,则整个矩阵失败。

解读测试矩阵结果

如果您在 Firebase 控制台中开始测试,Test Lab 会将您直接转到运行中的测试矩阵,您可以在此实时查看测试的进度。如果您使用的是命令行工具,则可以按照其提供的网址进入运行中的测试矩阵的页面。

在矩阵中,测试实验室运行的每项测试作业都自成一行。作业名称前的图标显示该作业的状态:

  • play_circle_outline 进行中:测试作业仍在运行。测试作业最多可能需要 1 小时才能完成,具体取决于应用中测试的数量和复杂程度。
  • check_circle 通过:作业中没有任何失败的测试。
  • warning 未通过:作业中至少有一项测试失败。
  • error 无结论:测试结果无结论,可能是由于 Test Lab 发生了错误。
  • block 已跳过:测试实验室跳过了测试,因为所选的设备/操作系统版本组合不可行。

解读一项测试作业的结果

在测试矩阵结果页面中点击某项测试作业,即可查看该测试作业的结果。

此页面显示了该测试作业的统计信息,包括测试中遇到的问题、测试用例列表、作业日志以及测试运行视频。

详细测试结果

详细测试结果会在 Google Cloud Storage 存储桶中保留 90 天。在测试作业结果页面中点击查看源文件即可查看该存储桶。

如果希望在 90 天之后仍然能够查看详细的测试结果,您需要使用 --results-bucket gcloud 命令行选项将测试结果发送到您拥有的支持更长保存时间的 Cloud Storage 存储桶。然后,您可以设置 Age(存在时间)设置,以确定 Cloud Storage 将结果存储多长时间。如需详细了解如何更改 Age(存在时间)设置,请参阅生命周期条件