无论您是通过 Firebase 控制台还是 Firebase CLI 运行测试,都可以在 Firebase 控制台中找到详细的测试结果。请继续阅读下文,了解如何分析测试结果。
查看测试结果
上传或选择测试并指定测试设备后,您可以在 Firebase 控制台的 Test Lab 信息中心内查看测试结果摘要(包括日志、视频和屏幕截图)。您的原始测试结果也会存储在 Google Cloud 存储分区中,以便与 CI 系统配合使用。
如需查看测试结果,请前往 Firebase 控制台的 Test Lab 部分。
您可以在此找到包含先前所有测试运行记录的列表。了解一些有关测试矩阵的概念有助于理解测试结果:当您针对所选的设备和配置运行一项或一组测试用例时,Test Lab 会成批为您的应用运行测试,然后将结果显示为一个测试矩阵。
设备 × 测试作业 = 测试矩阵
- 设备
- 运行测试的实体设备或虚拟设备(仅限 Android),例如手机、平板电脑或穿戴式设备。测试矩阵中的设备由设备型号、操作系统版本、屏幕方向和语言区域(也称为地理位置和语言设置)标识。
- 测试、测试作业
- 需要在设备上运行的一项测试(或一组测试用例)。您可以在每个设备上运行一项测试,也可以视需要对测试进行分片,并在不同的设备上运行其测试用例。
- 测试矩阵
- 测试矩阵中包含测试作业的状态和测试结果。如果矩阵中的任何测试作业失败,则整个矩阵失败。
解读测试矩阵结果
如果您在 Firebase 控制台中开始测试,Test Lab 会将您直接转到运行中的测试矩阵,您可以在此实时查看测试的进度。如果您使用的是命令行工具,则可以按照其提供的网址进入运行中的测试矩阵的页面。
在矩阵中,Test Lab 运行的每项测试作业都自成一行。作业名称前的图标显示该作业的状态:
- play_circle_outline 进行中:测试作业仍在运行。测试作业最多可能需要 1 小时才能完成,具体取决于应用中测试的数量和复杂程度。
- check_circle 通过:作业中没有任何失败的测试。
- warning 未通过:作业中至少有一项测试失败。
- error 无结论:测试结果无结论,可能是由于 Test Lab 发生了错误。
- block 已跳过:Test Lab 跳过了测试,因为所选的设备/操作系统版本组合不可行。
解读一项测试作业的结果
在测试矩阵结果页面中点击某项测试作业,即可查看该测试作业的结果。
此页面显示了该测试作业的统计信息,包括测试中遇到的问题、测试用例列表、作业日志以及测试运行视频。
详细测试结果
详细测试结果会在 Google Cloud Storage 存储桶中保留 90 天。在测试作业结果页面中点击查看源文件即可查看该存储桶。
如果希望在 90 天之后仍然能够查看详细的测试结果,您需要使用 --results-bucket gcloud 命令行选项将测试结果发送到您拥有的支持更长保存时间的 Cloud Storage 存储桶。随后您可以设置存在时间设置,以确定结果在 Cloud Storage 中的存储时长。如需详细了解如何更改存在时间设置,请参阅生命周期条件。