Чтобы переводить контент на ваш предпочитаемый язык, Google использует технологии на основе искусственного интеллекта. Переводы от ИИ могут содержать ошибки.
Устранение неполадок и часто задаваемые вопросы о Test Lab
Оптимизируйте свои подборки
Сохраняйте и классифицируйте контент в соответствии со своими настройками.
На этой странице вы найдете ответы на часто задаваемые вопросы о тестировании с помощью Firebase Test Lab и советы по устранению неполадок. Известные проблемы также
документируются. Если вы не можете найти нужную информацию или вам требуется дополнительная помощь, присоединитесь к каналу #test-lab в Firebase Slack или обратитесь в службу поддержки Firebase.
Устранение неполадок
Почему тестирование занимает так много времени?
Если вы выберете устройство с высоким уровнем доступности в каталоге Test Lab, тесты могут запускаться быстрее. Если у устройства низкая производительность, тестирование может занять больше времени. Если количество запущенных тестов намного больше, чем емкость выбранных устройств, тестирование может занять больше времени.
Тестирование на любом уровне может занять больше времени из-за следующих факторов:
Трафик, который влияет на доступность устройств и скорость тестирования.
Сбои в работе устройств или инфраструктуры, которые могут произойти в любой момент. Чтобы узнать, есть ли проблемы с инфраструктурой Test Lab, откройте панель мониторинга Firebase.
Чтобы узнать больше о емкости устройств в Test Lab, ознакомьтесь с информацией о емкости устройств для Android и iOS.
Почему результаты тестирования неоднозначны?
Неоднозначные результаты тестирования обычно возникают из-за отмены тестовых запусков или ошибок инфраструктуры.
Ошибки инфраструктуры вызваны внутренними проблемами Test Lab, например ошибками сети или неожиданным поведением устройства. Test Lab внутренне прекращает тестовые запуски, которые несколько раз приводят к ошибкам инфраструктуры, прежде чем сообщить о неопределенном результате. Однако вы можете отключить эти повторные попытки с помощью failFast.
Чтобы определить причину ошибки, выполните следующие действия:
Повторите тест через Test Lab, чтобы убедиться, что он воспроизводим.
Попробуйте запустить тест на другом устройстве или типе устройства, если это возможно.
Если проблема не исчезнет, обратитесь к команде Test Lab на канале #test-lab в Firebase Slack.
Почему после сегментирования тесты стали выполняться дольше?
Если указанное количество сегментов превышает количество устройств, доступных для использования в Test Lab, тестирование может занять больше времени.
Поскольку матрица тестов остается Pending, пока не завершатся все сегменты, использование меньшего количества более крупных сегментов также может сократить время ожидания в очереди. Чтобы избежать этой ситуации, попробуйте уменьшить количество сегментов или переключиться на другое устройство. Подробнее о выборе другого устройства читайте в статье
Емкость устройства.
Почему тестирование долго не начинается?
Когда вы отправляете запрос на тестирование, ваше приложение сначала проверяется, повторно подписывается и т. д. в рамках подготовки к запуску тестов на устройстве. Обычно этот процесс занимает несколько секунд, но на него могут влиять различные факторы, например размер приложения.
После подготовки приложения выполнение тестов планируется и остается в очереди, пока устройство не будет готово к их запуску. Пока все тесты не будут выполнены, матрица будет иметь статус "Ожидание" (независимо от того, находятся ли тесты в очереди или выполняются).
Почему тестирование занимает так много времени?
После завершения выполнения теста артефакты скачиваются с устройства, обрабатываются и загружаются в Cloud Storage. На продолжительность этого шага может повлиять
количество и размер артефактов.
Устранение неполадок на устройствах Android
Приложение не возвращает данные и не может найти скриншоты
Объекты, созданные в результате выполнения тестов (например, скриншоты и файлы журналов), хранятся в Google Cloud Storage и отображаются в консоли Firebase. Если тест выполнялся в течение последних 90 дней, убедитесь, что вы назначили роли на уровне проекта (владелец, редактор или читатель проекта).
Также убедитесь, что для вашего проекта или организации не включен сервис Cloud Audit Logging.
Если выполнение было произведено более 90 дней назад, скорее всего, артефакты тестирования были автоматически удалены. Чтобы проверить конфигурацию сегментов, откройте вкладку Результаты тестирования на панели управления Test Lab. По умолчанию сегмент результатов настроен на хранение объектов в течение 90 дней.
Чтобы хранить тестовые артефакты дольше, выполните команду gcloud firebase test android run с флагом --results-bucket и передайте название сегмента результатов. Подробную информацию вы найдете в справочной документации по gcloud firebase test android run.
Почему я получаю неполные или отсутствующие результаты отчетов о тестировании инструментальных тестов?
При выполнении инструментальных тестов могут возникать ошибки, указывающие на частичные результаты и содержащие сообщение Test run failed to complete. Expected
x tests, received y (где y меньше x). Это означает, что Test Lab не удалось проанализировать logcat на наличие маркеров начала или конца отчета о тестировании, которые обычно генерируются AndroidJUnitRunner.
Вот распространенные причины этой проблемы:
Описание проблемы
Возможное решение
Тестовый сценарий не был запущен из-за превышения времени ожидания. Если общая продолжительность тестов превышает указанное вами время ожидания или максимальное время ожидания, Test Lab отменяет остальные тестовые сценарии.
Увеличьте время ожидания для матрицы, чтобы все тесты могли завершиться.
Разделите тесты на сегменты, если вы ещё этого не сделали. В этом случае каждый сегмент будет выполнять подмножество тестов и завершаться за более короткий период времени.
Если сегментирование уже включено, увеличьте количество сегментов.
Не удалось завершить отчет о тестировании, так как он был закрыт преждевременно или завис.
Тест может завершиться преждевременно из-за необработанного исключения или ошибки утверждения. Тесты могут застрять в бесконечном цикле или не иметь возможности продолжить работу, например, если приложение не показывает правильное представление и тест не может выполнить действие в пользовательском интерфейсе.
Проверьте видео и logcat, чтобы узнать, на каком этапе остановилось тестирование.
Специальный исполнитель тестов (включая расширение AndroidJUnitRunner) неожиданно завершил работу или записал неожиданные маркеры начала или конца отчета о тестировании в logcat.
Проверьте код средства запуска тестов.
В logcat было записано слишком много журналов, что привело к переполнению буфера или сбою процесса logcat.
Уменьшите количество записей до logcat.
В тестируемом приложении произошел сбой.
Отладьте приложение.
Часто задаваемые вопросы
Какие бесплатные квоты доступны для Test Lab? Что делать, если они закончатся?
Firebase Test Lab предлагает бесплатные квоты для тестирования на устройствах и использования Cloud API. Обратите внимание, что квота на тестирование использует стандартный тарифный план Firebase, а квоты Cloud API – нет.
Квота на тестирование
Квоты на тестирование определяются количеством устройств, используемых для запуска тестов.
В тарифном плане Firebase Spark есть фиксированная квота на бесплатное тестирование. Для тарифного плана Blaze квоты могут увеличиваться по мере роста использования Google Cloud. Если вы исчерпали квоту на тестирование, подождите до следующего дня или перейдите на тарифный план Blaze, если сейчас вы используете Spark.
Если вы уже используете тарифный план Blaze, вы можете запросить увеличение квоты.
Подробнее о квоте на тестирование…
Вы можете отслеживать использование квоты на тестирование в консоли Google Cloud.
Квота Cloud Testing API
Для Cloud Testing API предусмотрено два ограничения: количество запросов в день на проект и количество запросов за каждые 100 секунд на проект. Отслеживать использование можно в консоли Google Cloud.
Квота Cloud Tool Results API
Для Cloud Tool Results API предусмотрено два ограничения квоты: количество запросов в день на проект и количество запросов за каждые 100 секунд на проект. Отслеживать использование можно в консоли Google Cloud.
Подробную информацию о лимитах API можно найти в статье Квоты Cloud API для Test Lab. Если вы достигли квоты API:
Отправьте запрос на повышение квот, изменив их непосредственно в консоли Google Cloud (обратите внимание, что по умолчанию для большинства ограничений задано максимальное значение).
Чтобы запросить увеличение квот API, заполните форму в консоли Google Cloud или обратитесь в службу поддержки Firebase.
Как узнать, поступает ли трафик на мой сервер из Test Lab?
Чтобы определить, поступает ли трафик с тестовых устройств, размещенных в Firebase, проверьте исходный IP-адрес по нашим диапазонам IP-адресов.
Работает ли Test Lab с VPC-SC?
Test Lab не работает с VPC-SC, который блокирует копирование приложений и других тестовых артефактов между внутренним хранилищем Test Lab и сегментами результатов пользователей.
Как обнаружить нестабильные тесты в Test Lab?
Чтобы выявить нестабильное поведение в тестах, рекомендуем использовать параметр
--num-flaky-test-attempts
. Повторные запуски для устранения нестабильности оплачиваются или учитываются в дневной квоте так же, как и обычные выполнения тестов.
Обратите внимание на следующее:
При обнаружении сбоя выполнение теста запускается заново. Повторно запустить только неудачные тесты нельзя.
Повторные запуски для устранения нестабильности планируются на одно и то же время, но не гарантируется, что они будут выполняться параллельно, например когда трафик превышает количество доступных устройств.
Часто задаваемые вопросы об iOS
Поддерживает ли Test Lab Appium, Flutter/FlutterDriver, ReactNative/Jest или Cucumber?
Некоторые из этих функций есть в наших планах, но пока мы не можем гарантировать поддержку этих платформ для тестирования и разработки приложений.
Где найти информацию об устройстве,
например разрешение экрана?
Подробную информацию об устройстве можно получить через API и из клиента gcloud с помощью команды describe:
gcloud firebase test ios models describe MODEL
Можно ли использовать сегментирование при тестировании приложений для iOS?
В Test Lab для iOS нет встроенной поддержки сегментирования. Однако вы можете использовать клиент Flank для сегментирования тестовых сценариев iOS.
Для этого нужно задать ключ OnlyTestIdentifiers и значения в файле .xctestrun.
Подробную информацию можно найти на странице man для xcodebuild.xctestrun.
Почему в результатах тестирования на iOS нет видео?
На устройствах с iOS 18 и более поздними версиями видео в результатах поиска не поддерживаются.
Часто задаваемые вопросы об Android
Поддерживает ли Test Lab носимые устройства?
Да! Test Lab поддерживает Google Pixel Watch. Теперь вы можете тестировать автономные приложения для Wear OS на часах Google Pixel Watch. Подробнее
Test Labо тестировании на
доступных устройствах…
Поддерживает ли Test Lab новейшие устройства Google?
Да! Test Lab поддерживает Google Pixel Tablet и Google Pixel Fold. Вы можете
запускать тесты на своих физических устройствах.
Подробнее
Test Labо тестировании на
доступных устройствах…
Как определить, что в Test Lab выполняется тест?
Если вы тестируете приложение в Firebase или запускаете тесты для отчета о тестировании в Play Console, то можете определить, выполняется ли тест на устройстве, размещенном в Firebase. Для этого проверьте системное свойство firebase.test.lab в файле MainActivity. Затем вы можете выполнить дополнительные операторы на основе логического значения для testLabSetting. Подробнее об измененном поведении при тестировании…
Поддерживает ли Test Lab Appium, Flutter/FlutterDriver, ReactNative/Jest или Cucumber?
Некоторые из этих функций есть в наших планах, но пока мы не можем гарантировать поддержку этих платформ для тестирования и разработки приложений. Однако если вы создали приложение с помощью фреймворка, поддерживающего Espresso (например, Flutter), то можете написать инструментальный тест с помощью Espresso, а затем запустить его в Test Lab.
Поддерживает ли Test Lab тестирование обфусцированных приложений, например с помощью ProGuard или R8?
Test Lab не поддерживает обфускацию и деобфускацию. Приложение, скорее всего, будет работать, но все обфусцированные данные приложения, например трассировки стека, будут отображаться в журналах в обфусцированном виде.
Можно ли использовать складное устройство в разных состояниях и положениях при тестировании в Test Lab?
Складные устройства могут находиться в разных состояниях, например FLAT (полностью открыто) или HALF_OPENED (между полностью открытым и полностью закрытым).
Положение – это определенная ориентация устройства и состояние складного экрана. Например, режим настольного компьютера – это состояние HALF_OPENED в горизонтальной ориентации, а режим книги – состояние HALF_OPENED в вертикальной ориентации.
Можно ли попробовать Test Lab, если у меня нет приложения?
В отличие от других продуктов Firebase, для использования Test Lab не нужно добавлять Firebase SDK. Если у вас нет приложения, вы можете скачать APK-файл в интернете или создать приложение и тестовый APK-файл на основе одного из примеров в репозитории AndroidX на GitHub.
Обратите внимание, что для автоматизированного тестирования нужен только APK-файл приложения, а для инструментального теста – APK-файлы приложения и теста, созданные на основе исходного кода. Подробнее об инструментальных тестах…
Какие устройства лучше всего подходят для тестирования различий скриншотов?
Тестирование на основе сравнения скриншотов – это когда утверждения теста основаны на сравнении изображений экрана, полученных во время выполнения теста, с золотыми изображениями, представляющими ожидаемое поведение. Такие тесты могут быть более хрупкими на некоторых типах устройств, чем на других. Для таких тестов рекомендуем использовать эмуляторы устройств с архитектурой Arm (*.arm). Эмуляторы Arm используют образы, которые очень похожи или идентичны универсальным эмуляторам Android Studio.
Мы также рекомендуем изучить библиотеки тестирования, которые могут помочь сделать тесты скриншотов более надежными при наличии ожидаемых изменений.
Обновляет ли Test Lab виртуальные устройства?
Да! Виртуальные устройства обновляются при следующих изменениях:
Обновление существующих изображений
Прекращение поддержки более ранних уровней API
Добавлены новые уровни Android API
Как включить отчеты о покрытии?
Чтобы включить отчеты о покрытии, добавьте coverage=true в поле environmentVariables.
Если вы используете инструмент оркестрации тестов Android, вам нужно указать каталог для хранения результатов покрытия:
Где найти сведения об устройстве, например разрешение экрана, поддерживаемые ABI и т. д.?
Подробную информацию об устройстве можно получить через API и из клиента gcloud с помощью команды describe:
gcloud firebase test android models describe MODEL
Как войти в приложение для Wear OS без телефона?
Если ваше приложение поддерживает вход с аккаунтом Google, то он должен автоматически работать с тестовым аккаунтом. Если для входа в приложение обычно требуется телефон, вы можете создать вариант сборки, который пропускает вход и использует токен, встроенный в тестовую сборку, или считывает данные из файлов на диске, обычно отправляемых с помощью --other-files option. Подробнее о том, как настроить вход и ввод текста при автоматизированном тестировании…
Известные проблемы
Проверочные коды при входе
Автоматизированное тестирование не может обойти экраны входа, которые требуют дополнительных действий пользователя, помимо ввода учетных данных, например ввода проверочного кода.
Известные проблемы для iOS
Автоматический вход
Автоматический вход с аккаунтом Google не поддерживается в автоматизированном тестировании для iOS+ (бета).
Известные проблемы, связанные с Android
Поддержка фреймворков пользовательского интерфейса
Автоматизированное тестирование лучше всего подходит для приложений, в которых используются элементы интерфейса из фреймворка Android UI (включая объекты View, ViewGroup и WebView). Если вы используете автоматизированное тестирование для приложений, в которых используются другие фреймворки пользовательского интерфейса, включая приложения на игровом движке Unity, тестирование может завершиться на первом экране.