Google 致力于为黑人社区推动种族平等。查看具体举措
Эта страница переведена с помощью Cloud Translation API.
Switch to English

Анализируйте результаты лаборатории тестирования Firebase

Есть несколько способов использовать Firebase Test Lab для запуска тестов в вашем приложении Android, включая интерфейс командной строки , Android Studio , пользовательский интерфейс Test Lab в консоли Firebase и API тестирования . Как бы вы ни выбрали запуск тестов, результаты сохраняются в указанном вами проекте Firebase. Вы можете изучить результаты с помощью ToolResults API в дополнение к любому из вышеперечисленных инструментов. На этой странице описывается, как просматривать и анализировать результаты этих тестов.

Ключевые понятия

Чтобы увидеть результаты всех предыдущих тестовых запусков, выберите Test Lab на левой навигационной панели проекта в консоли Firebase. На этой странице отображаются все тестовые прогоны из приложений, которые вы тестировали с помощью своего проекта с помощью Test Lab.

Чтобы просмотреть результаты тестирования, вам сначала необходимо понять три концепции:

Устройства × Выполнения тестов = Матрица тестов

Устройство
Устройство, на котором вы запускаете тест, например телефон, планшет или носимое устройство. Устройства в тестовой матрице идентифицируются по модели устройства, версии ОС, языку и ориентации экрана.
Выполнение теста
Тестовый запуск на устройстве. В типичной тестовой матрице для каждого выбранного устройства выполняется одно выполнение теста.
Матрица испытаний
Набор тестовых выполнений. Если выполнение какого-либо теста в матрице не удается, вся матрица также не выполняется.

В следующих разделах объясняется, как перемещаться по результатам тестирования.

Интерпретировать результаты истории испытаний

Когда вы переходите к результатам тестирования, выбирая Test Lab , вы видите результаты тестов, которые вы уже выполнили.

История тестирования сгруппирована по приложениям. Для каждого приложения отображаются только пять последних тестовых матриц; если доступно больше, вы можете щелкнуть ссылку Все матрицы в нижней части списка тестов приложения, чтобы просмотреть полный список для этого приложения.

Интерпретация результатов матрицы испытаний

При запуске теста через пользовательский интерфейс Test Lab вы будете перенаправлены на страницу, где можете увидеть свою тестовую матрицу и щелкнуть конкретное выполнение теста, чтобы просмотреть результаты теста. Android Studio и команда gcloud также предоставляют URL-адрес для страницы результатов матрицы тестирования.

В типичной тестовой матрице вы можете запустить тест на дюжине или около того различных устройств. Каждое выполнение теста может иметь разные результаты. Возможные результаты выполнения любого теста в матрице тестирования включают следующее:

  • ПрошлоТест пройден : Сбоев не обнаружено.
  • Не удалосьТест не пройден : Произошла по крайней мере одна ошибка.
  • НеубедительныйТест пройден : Результаты теста неубедительны, возможно, из-за ошибки тестовой лаборатории.
  • ПропущеноТест пройден : Выбранные значения измерений для выполнения некоторых тестов в матрице несовместимы. Это происходит, когда выбранные вами устройства несовместимы с одним или несколькими выбранными вами уровнями Android API.

Чтобы просмотреть сводные результаты тестирования для всех тестовых матриц для данного приложения в вашем проекте Firebase, щелкните имя приложения, как показано в следующем примере:

Пример страницы результатов матрицы тестов с четырьмя выполнениями тестов Результаты матрицы тестирования

Это приведет вас к списку тестовых матриц для вашего приложения, где вы можете щелкнуть имя любой тестовой матрицы, чтобы увидеть результаты тестовой матрицы, и где вы можете щелкнуть имя приложения (показано в красном поле ниже), чтобы просмотреть список тестовой матрицы для других приложений, связанных с вашим проектом Firebase.

Пример страницы со списком тестовой матрицы Список матриц испытаний

Матрица тестов может пройти, не пройти или быть безрезультатной. Тестовая матрица отображается как неудачная или неубедительная, если какие-либо тесты в этой матрице завершаются неудачно или не дают результатов.

Интерпретировать результаты робо-теста

Если вы запускали тесты с помощью Robo, в ваши результаты будут включены видеоролики и снимки экрана, на которых Robo сканирует ваш пользовательский интерфейс, в дополнение к обычным тестовым показателям. Эти видео и скриншоты содержат визуальные индикаторы действий, которые Робо выполнял во время сканирования, аналогично функции «Показать касания» в Android. Вы можете использовать индикаторы, чтобы следить за прогрессом Robo и воспроизводить любые ошибки, которые он может обнаружить.

Пример видео с результатами робо-теста

Результаты робо-тестирования

Интерпретируйте результаты одного выполнения теста

На странице результатов матрицы тестирования щелкните одно из выполнений теста, чтобы увидеть результат выполнения этого конкретного теста.

Пример страницы результатов выполнения теста Результаты выполнения теста

На этой странице вы можете увидеть время, необходимое для выполнения каждого теста. Вы также можете увидеть результаты для конкретных тестовых случаев, которые соответствуют методам в вашем тестовом APK (для инструментальных тестов), и подробные результаты тестирования, включая журналы тестирования, снимки экрана и видео. Для Robo-теста подробные результаты теста также включают карту активности, которая графически показывает пути пользовательского интерфейса, которые были посещены Robo-тестом.

Результаты раздельного тестирования КИПиА

Чтобы помочь вам интерпретировать результаты инструментальных тестов, Test Lab разделяет каждый тест на отдельную страницу подробного отчета с трассировками стека, журналами и видео. Эта функция работает независимо от того, используете вы Android Orchestrator или нет.

Пример страницы результатов теста Результаты теста

Интерпретировать результаты доступности

Робо-тесты используют Android Accessibility Scanner для обнаружения проблем со специальными возможностями в вашем приложении (обратите внимание, что вы также можете запустить сканирование локально на своем устройстве). Для получения инструкций о том, как просматривать и интерпретировать результаты теста доступности Robo, посетите страницу Начало работы со сканером доступности .

Для получения общей информации о том, как улучшить специальные возможности вашего приложения, посетите документацию по специальным возможностям для разработчиков Android .

Показатели эффективности

Тесты, выполняемые на физических устройствах, также возвращают показатели производительности:

Метрическая Требуемая конфигурация устройства
Время запуска приложения API 19+
использование процессора API 21+
Использование памяти
Сетевая активность
Кадров в секунду API 21+ и включает SurfaceView
Графическая производительность API 23+

Детали производительности графики

Отчет о производительности графики содержит статистику по нескольким ключевым показателям графики:

  • Пропущенный Vsync: количество пропущенных событий Vsync, деленное на количество кадров, для рендеринга которых потребовалось более 16 мс.
  • Высокая задержка ввода: количество событий ввода, для которых потребовалось более 24 мс, деленное на количество кадров, для рендеринга которых потребовалось более 16 мс.
  • Медленный поток пользовательского интерфейса: количество раз, когда поток пользовательского интерфейса выполнялся более 8 мс, деленное на количество кадров, для рендеринга которых потребовалось более 16 мс.
  • Команды медленного рисования: количество раз, когда отправка команд рисования на графический процессор занимала более 12 мс, деленное на количество кадров, для рендеринга которых потребовалось более 16 мс.
  • Медленная загрузка растрового изображения: количество раз, когда растровому изображению потребовалось больше 3,2 мс для загрузки в графический процессор, разделенное на количество кадров, для рендеринга которых потребовалось более 16 мс.
  • Время рендеринга: распределение времени рендеринга для каждого кадра тестового прогона. Время рендеринга больше 32 миллисекунд вызывает заметное замедление вашего пользовательского интерфейса. Время рендеринга 700+ указывает на замороженные кадры. Данные рендеринга собираются из dumpsys graphicsstats .

Подробные результаты тестирования

Подробные результаты теста доступны в течение 90 дней после запуска теста и хранятся в корзине Google Cloud Storage (GCS) (но также видны в консоли Firebase). Вы можете просмотреть подробные результаты теста в сегменте GCS, щелкнув Просмотр исходных файлов на странице результатов выполнения теста. Когда подробные результаты тестирования больше не доступны, вы все равно можете увидеть, какие тесты прошли или не прошли.

Чтобы сохранить подробные результаты тестирования более 90 дней, вам необходимо отправить эти результаты в корзину GCS, которой вы владеете, с помощью параметра командной строки --results-bucket gcloud . Затем вы можете установить параметр Age, чтобы определить, как долго результаты хранятся в вашей корзине GCS. См. Раздел Условия жизненного цикла для получения информации о том, как изменить настройку возраста .