Независимо от того, запускаете ли вы тесты через консоль Firebase или Firebase CLI , подробные результаты тестов можно найти в консоли Firebase . Читайте дальше, чтобы узнать, как анализировать результаты тестов.
Просмотреть результаты теста
После загрузки или выбора теста и указания тестовых устройств вы можете просмотреть сводку результатов тестирования (включая журналы, видео и скриншоты) на панели Test Lab в консоли Firebase . Исходные результаты тестирования также хранятся в хранилище Google Cloud для более удобного использования с системами CI.
Чтобы посмотреть результаты тестирования, перейдите в раздел Test Lab в консоли Firebase .
Там вы найдете список всех ваших предыдущих запусков тестов. Для понимания результатов полезно немного знать о тестовых матрицах: когда вы запускаете тест или набор тестовых случаев для выбранных вами устройств и конфигураций, Test Lab запускает тест для вашего приложения в пакетном режиме, а затем отображает результаты в виде тестовой матрицы .
Устройства × Количество выполненных тестов = Матрица тестов
- Устройство
- Физическое или виртуальное устройство (только Android), на котором проводится тестирование, например, телефон, планшет или носимое устройство. Устройства в тестовой матрице идентифицируются по модели устройства, версии ОС, ориентации экрана и языковым настройкам (также известным как географические и языковые параметры).
- Тестирование, выполнение теста
- Тест (или набор тестовых случаев), который необходимо выполнить на устройстве. Вы можете запускать один тест для каждого устройства или, при желании, разделить тест и запустить его тестовые случаи на разных устройствах.
- Тестовая матрица
- Содержит статусы и результаты выполнения тестов. Если какой-либо тест в матрице завершается с ошибкой, то вся матрица завершается с ошибкой.
Интерпретация результатов тестовой матрицы
Если вы запускаете тесты в консоли Firebase , Test Lab сразу переведет вас на страницу с матрицей текущих тестов, где вы сможете отслеживать ход выполнения тестов. Если же вы использовали инструмент командной строки, вы можете перейти по предоставленной им ссылке на страницу с матрицей текущих тестов.
В матрице для каждого выполненного теста Test Lab отображается отдельная строка. Значок перед названием выполнения теста показывает его статус:
- play_circle_outline В процессе: Выполнение теста продолжается. В зависимости от количества и сложности тестов в вашем приложении, выполнение теста может занять до часа.
- Проверка check_circle пройдена: ни один из тестов выполнения не завершился неудачей.
- Предупреждение : Сбой: По крайней мере один из тестов выполнения завершился неудачей.
- Ошибка : Неубедительные результаты: Результаты теста оказались неубедительными, возможно, из-за ошибки Test Lab .
- Блок пропущен: Test Lab пропустила ваш тест, поскольку выбранная вами комбинация устройства/версии ОС недоступна.
Интерпретация результатов выполнения одного теста.
На странице результатов тестовой матрицы щелкните по одному из выполненных тестов, чтобы увидеть результат именно этого теста.
На этой странице отображается статистика выполнения теста, включая обнаруженные в процессе тестирования проблемы, список тестовых случаев, журналы выполнения и видеозапись запуска теста.
Подробные результаты испытаний
Подробные результаты тестирования доступны в хранилище Google Cloud Storage в течение 90 дней. Чтобы просмотреть содержимое хранилища, нажмите «Просмотреть исходные файлы» на странице результатов выполнения теста.
Чтобы сохранять подробные результаты тестирования более 90 дней, отправьте результаты тестирования в более постоянный сегмент Cloud Storage , принадлежащий вам, используя параметр командной строки gcloud --results-bucket . Затем вы можете установить параметр Age , определяющий, как долго Cloud Storage будет хранить результаты. Дополнительную информацию о том, как изменить параметр Age , см. в разделе «Условия жизненного цикла» .