На этой странице представлена помощь по устранению неполадок и ответы на часто задаваемые вопросы о запуске тестов с помощью Firebase Test Lab . Известные проблемы также задокументированы. Если вы не можете найти то, что ищете, или вам нужна дополнительная помощь, присоединяйтесь к каналу #test-lab в Firebase Slack или обратитесь в службу поддержки Firebase .
Поиск неисправностей
При выборе в каталоге Test Lab устройства с высоким уровнем мощности тесты могут запускаться быстрее. Если устройство имеет низкую емкость, выполнение тестов может занять больше времени. Если количество вызванных тестов намного превышает емкость выбранных устройств, выполнение тестов может занять больше времени.
Тесты, выполняемые на любом уровне мощности устройства, могут занять больше времени из-за следующих факторов:
- Трафик, который влияет на доступность устройства и скорость тестирования.
- Сбои устройства или инфраструктуры, которые могут произойти в любой момент. Чтобы проверить, существует ли отчетная инфраструктура для Test Lab , см. панель мониторинга состояния Firebase .
Дополнительные сведения о емкости устройства в Test Lab см. в сведениях о емкости устройства для Android и iOS .
Неубедительные результаты тестов обычно происходят либо из-за отмены тестовых запусков, либо из-за ошибок инфраструктуры.
Ошибки инфраструктуры вызваны внутренними проблемами Test Lab , например сетевыми ошибками или неожиданным поведением устройства. Test Lab самостоятельно прекращает выполнение тестовых запусков, которые несколько раз приводят к ошибкам инфраструктуры, прежде чем сообщить о неубедительном результате; однако вы можете отключить эти повторы с помощью FailFast .
Чтобы определить причину ошибки, выполните следующие действия:
- Проверьте наличие известных сбоев на панели состояния Firebase .
Повторите тест в Test Lab чтобы убедиться в его воспроизводимости.
Попробуйте запустить тест на другом устройстве или типе устройства, если это применимо.
Если проблема не устранена, свяжитесь с командой Test Lab по каналу #test-lab в Firebase Slack.
Шардинг может привести к тому, что ваши тесты будут выполняться дольше, если количество указанных вами сегментов превышает количество устройств, доступных для использования в Test Lab . Чтобы избежать такой ситуации, попробуйте переключиться на другое устройство. Дополнительную информацию о выборе другого устройства см.Емкость устройства .
Когда вы отправляете запрос на тестирование, ваше приложение сначала проверяется, повторно подписывается и т. д. в рамках подготовки к запуску тестов на устройстве. Обычно этот процесс завершается менее чем за несколько секунд, но на него могут влиять такие факторы, как размер вашего приложения.
После подготовки приложения выполнение тестов планируется и остается в очереди до тех пор, пока устройство не будет готово к его запуску. Пока выполнение всех тестов не завершится, статус матрицы будет «Ожидание» (независимо от того, находятся ли выполнения тестов в очереди или активно выполняются).
После завершения выполнения теста артефакты теста загружаются с устройства, обрабатываются и загружаются в Cloud Storage . На продолжительность этого шага может влиять количество и размер артефактов.
Часто задаваемые вопросы
Firebase Test Lab предлагает бесплатные квоты на тестирование на устройствах и использование Cloud API. Обратите внимание, что квота тестирования использует стандартный тарифный план Firebase, а квоты Cloud API — нет.
Квота тестирования
Квоты тестирования определяются количеством устройств, используемых для запуска тестов. План Firebase Spark имеет фиксированную квоту на бесплатное тестирование для пользователей. Для плана Blaze ваши квоты могут увеличиться, если со временем вы увеличите использование Google Cloud. Если вы достигли своей квоты на тестирование, подождите до следующего дня или перейдите на план Blaze, если вы сейчас используете план Spark. Если вы уже используете план Blaze, вы можете запросить увеличение квоты. Дополнительные сведения см. в разделе Тестирование квоты .
Вы можете отслеживать использование квоты тестирования в консоли Google Cloud .
Квота API облачного тестирования
API облачного тестирования имеет два ограничения квоты: количество запросов в день на проект и количество запросов каждые 100 секунд на проект. Вы можете отслеживать свое использование в консоли Google Cloud .
Квота API результатов Cloud Tool
API результатов Cloud Tool имеет два ограничения квоты: количество запросов в день на проект и количество запросов каждые 100 секунд на проект. Вы можете отслеживать свое использование в консоли Google Cloud .
Дополнительные сведения об ограничениях API см. в разделе Квоты Cloud API для Test Lab . Если вы достигли квоты API:
Отправьте запрос на увеличение квот, отредактировав квоты непосредственно в консоли Google Cloud (обратите внимание, что для большинства ограничений по умолчанию установлено максимальное значение) или
Запросите более высокие квоты API, заполнив форму запроса в консоли Google Cloud или обратившись в службу поддержки Firebase .
Из своего серверного интерфейса вы можете определить, поступает ли трафик с тестовых устройств, размещенных на Firebase, проверив исходный IP-адрес по нашим диапазонам IP-адресов .
Test Lab не работает с VPC-SC, который блокирует копирование приложений и других тестовых артефактов между внутренним хранилищем Test Lab и сегментами результатов пользователей.
Чтобы обнаружить нестабильное поведение в ваших тестах, мы рекомендуем использовать--num-flaky-test-attemptsвариант. Повторные запуски Deflake оплачиваются или засчитываются в вашу ежедневную квоту так же, как и обычное выполнение тестов.
Имейте в виду следующее:
- При обнаружении сбоя все выполнение теста запускается заново. Не поддерживается повторная попытка только неудачных тестовых случаев.
- Повторные запуски Deflake запланированы на одно и то же время, но их параллельное выполнение не гарантируется, например, когда трафик превышает количество доступных устройств.
Хотя некоторые из этих элементов включены в нашу дорожную карту, в настоящее время мы не можем взять на себя обязательства по поддержке этих платформ тестирования и разработки приложений.
Подробная информация об устройстве доступна через API, и к ней можно получить доступ из клиента gcloud с помощью команды описания :
gcloud firebase test ios models describe MODEL
Сегментирование изначально не поддерживается в Test Lab для iOS. Однако вы можете использовать клиент Flank для сегментирования тестовых случаев iOS.
Это работает путем установки ключа и значений OnlyTestIdentifiers в файле .xctestrun . Дополнительную информацию см. на странице man по xcodebuild.xctestrun .
Для iOS 18 и более поздних версий мы не можем поддерживать видео в результатах.
Известные проблемы
Робо-тест не может обойти экраны входа, которые требуют дополнительных действий пользователя, помимо ввода учетных данных для входа, например прохождения CAPTCHA.
Робо-тест лучше всего работает с приложениями, которые используют элементы пользовательского интерфейса из платформы пользовательского интерфейса Android (включая объекты View , ViewGroup и WebView ). Если вы используете Robo-тест для проверки приложений, использующих другие платформы пользовательского интерфейса, включая приложения, использующие игровой движок Unity, тест может завершиться, не пройдя дальше первого экрана.
На этой странице представлена помощь по устранению неполадок и ответы на часто задаваемые вопросы о запуске тестов с помощью Firebase Test Lab . Известные проблемы также задокументированы. Если вы не можете найти то, что ищете, или вам нужна дополнительная помощь, присоединяйтесь к каналу #test-lab в Firebase Slack или обратитесь в службу поддержки Firebase .
Поиск неисправностей
При выборе в каталоге Test Lab устройства с высоким уровнем мощности тесты могут запускаться быстрее. Если устройство имеет низкую емкость, выполнение тестов может занять больше времени. Если количество вызванных тестов намного превышает емкость выбранных устройств, выполнение тестов может занять больше времени.
Тесты, выполняемые на любом уровне мощности устройства, могут занять больше времени из-за следующих факторов:
- Трафик, который влияет на доступность устройства и скорость тестирования.
- Сбои устройства или инфраструктуры, которые могут произойти в любой момент. Чтобы проверить, существует ли отчетная инфраструктура для Test Lab , см. панель мониторинга состояния Firebase .
Дополнительные сведения о емкости устройства в Test Lab см. в сведениях о емкости устройства для Android и iOS .
Неубедительные результаты тестов обычно происходят либо из-за отмены тестовых запусков, либо из-за ошибок инфраструктуры.
Ошибки инфраструктуры вызваны внутренними проблемами Test Lab , например сетевыми ошибками или неожиданным поведением устройства. Test Lab самостоятельно прекращает выполнение тестовых запусков, которые несколько раз приводят к ошибкам инфраструктуры, прежде чем сообщить о неубедительном результате; однако вы можете отключить эти повторы с помощью FailFast .
Чтобы определить причину ошибки, выполните следующие действия:
- Проверьте наличие известных сбоев на панели состояния Firebase .
Повторите тест в Test Lab чтобы убедиться в его воспроизводимости.
Попробуйте запустить тест на другом устройстве или типе устройства, если это применимо.
Если проблема не устранена, свяжитесь с командой Test Lab по каналу #test-lab в Firebase Slack.
Шардинг может привести к тому, что ваши тесты будут выполняться дольше, если количество указанных вами сегментов превышает количество устройств, доступных для использования в Test Lab . Чтобы избежать такой ситуации, попробуйте переключиться на другое устройство. Дополнительную информацию о выборе другого устройства см.Емкость устройства .
Когда вы отправляете запрос на тестирование, ваше приложение сначала проверяется, повторно подписывается и т. д. в рамках подготовки к запуску тестов на устройстве. Обычно этот процесс завершается менее чем за несколько секунд, но на него могут влиять такие факторы, как размер вашего приложения.
После подготовки приложения выполнение тестов планируется и остается в очереди до тех пор, пока устройство не будет готово к его запуску. Пока выполнение всех тестов не завершится, статус матрицы будет «Ожидание» (независимо от того, находятся ли выполнения тестов в очереди или активно выполняются).
После завершения выполнения теста артефакты теста загружаются с устройства, обрабатываются и загружаются в Cloud Storage . На продолжительность этого шага может влиять количество и размер артефактов.
Часто задаваемые вопросы
Firebase Test Lab предлагает бесплатные квоты на тестирование на устройствах и использование Cloud API. Обратите внимание, что квота тестирования использует стандартный тарифный план Firebase, а квоты Cloud API — нет.
Квота тестирования
Квоты тестирования определяются количеством устройств, используемых для запуска тестов. План Firebase Spark имеет фиксированную квоту на бесплатное тестирование для пользователей. Для плана Blaze ваши квоты могут увеличиться, если со временем вы увеличите использование Google Cloud. Если вы достигли своей квоты на тестирование, подождите до следующего дня или перейдите на план Blaze, если вы сейчас используете план Spark. Если вы уже используете план Blaze, вы можете запросить увеличение квоты. Дополнительные сведения см. в разделе Тестирование квоты .
Вы можете отслеживать использование квоты тестирования в консоли Google Cloud .
Квота API облачного тестирования
API облачного тестирования имеет два ограничения квоты: количество запросов в день на проект и количество запросов каждые 100 секунд на проект. Вы можете отслеживать свое использование в консоли Google Cloud .
Квота API результатов Cloud Tool
API результатов Cloud Tool имеет два ограничения квоты: количество запросов в день на проект и количество запросов каждые 100 секунд на проект. Вы можете отслеживать свое использование в консоли Google Cloud .
Дополнительные сведения об ограничениях API см. в разделе Квоты Cloud API для Test Lab . Если вы достигли квоты API:
Отправьте запрос на увеличение квот, отредактировав квоты непосредственно в консоли Google Cloud (обратите внимание, что для большинства ограничений по умолчанию установлено максимальное значение) или
Запросите более высокие квоты API, заполнив форму запроса в консоли Google Cloud или обратившись в службу поддержки Firebase .
На своем сервере вы можете определить, поступает ли трафик с тестовых устройств, размещенных на Firebase, проверив исходный IP-адрес по нашим диапазонам IP-адресов .
Test Lab не работает с VPC-SC, который блокирует копирование приложений и других тестовых артефактов между внутренним хранилищем Test Lab и сегментами результатов пользователей.
Чтобы обнаружить нестабильное поведение в ваших тестах, мы рекомендуем использовать--num-flaky-test-attemptsвариант. Повторные запуски Deflake оплачиваются или засчитываются в вашу ежедневную квоту так же, как и обычное выполнение тестов.
Имейте в виду следующее:
- При обнаружении сбоя все выполнение теста запускается заново. Не поддерживается повторная попытка только неудачных тестовых случаев.
- Повторные запуски Deflake запланированы на одно и то же время, но их параллельное выполнение не гарантируется, например, когда трафик превышает количество доступных устройств.
Хотя некоторые из этих пунктов включены в нашу дорожную карту, в настоящее время мы не можем взять на себя обязательства по поддержке этих платформ тестирования и разработки приложений.
Подробная информация об устройстве доступна через API, и к ней можно получить доступ из клиента gcloud с помощью команды описания :
gcloud firebase test ios models describe MODEL
Сегментирование изначально не поддерживается в Test Lab для iOS. Однако вы можете использовать клиент Flank для сегментирования тестовых случаев iOS.
Это работает путем установки ключа и значений OnlyTestIdentifiers в файле .xctestrun . Дополнительную информацию см. на странице man по xcodebuild.xctestrun .
Для iOS 18 и более поздних версий мы не можем поддерживать видео в результатах.
Известные проблемы
Робо-тест не может обойти экраны входа, которые требуют дополнительных действий пользователя, помимо ввода учетных данных для входа, например прохождения CAPTCHA.
Робо-тест лучше всего работает с приложениями, которые используют элементы пользовательского интерфейса из платформы пользовательского интерфейса Android (включая объекты View , ViewGroup и WebView ). Если вы используете Robo-тест для проверки приложений, использующих другие платформы пользовательского интерфейса, включая приложения, использующие игровой движок Unity, тест может завершиться, не пройдя дальше первого экрана.
На этой странице представлена помощь по устранению неполадок и ответы на часто задаваемые вопросы о запуске тестов с помощью Firebase Test Lab . Известные проблемы также задокументированы. Если вы не можете найти то, что ищете, или вам нужна дополнительная помощь, присоединяйтесь к каналу #test-lab в Firebase Slack или обратитесь в службу поддержки Firebase .
Поиск неисправностей
При выборе в каталоге Test Lab устройства с высоким уровнем мощности тесты могут запускаться быстрее. Если устройство имеет низкую емкость, выполнение тестов может занять больше времени. Если количество вызванных тестов намного превышает емкость выбранных устройств, выполнение тестов может занять больше времени.
Тесты, выполняемые на любом уровне мощности устройства, могут занять больше времени из-за следующих факторов:
- Трафик, который влияет на доступность устройства и скорость тестирования.
- Сбои устройства или инфраструктуры, которые могут произойти в любой момент. Чтобы проверить, существует ли отчетная инфраструктура для Test Lab , см. панель мониторинга состояния Firebase .
Дополнительные сведения о емкости устройства в Test Lab см. в сведениях о емкости устройства для Android и iOS .
Неубедительные результаты теста обычно происходят либо из -за отмененных тестовых прогонов, либо ошибок инфраструктуры.
Ошибки инфраструктуры вызваны проблемами внутренней Test Lab , такими как сетевые ошибки или неожиданное поведение устройства. Test Lab внутренне выходит на пенсию тестовые прогоны, которые производят ошибки инфраструктуры несколько раз, прежде чем сообщать о неубедительном результате; Тем не менее, вы можете отключить эти повторения, используя Failast .
Чтобы определить причину ошибки, выполните следующие действия:
- Проверьте на наличие известных отключений на панели панели состояния Firebase .
Повторите тест в Test Lab , чтобы убедиться, что он воспроизводим.
Попробуйте запустить тест на другом типе устройства или устройства, если применимо.
Если проблема сохраняется, свяжитесь с командой Test Lab в канале #Test-Lab на Firebase Slack.
Шардинг может привести к тому, что ваши тесты работают дольше, когда указанное вами количество осколков превышает количество устройств, доступных для использования в Test Lab . Чтобы избежать этой ситуации, попробуйте переключиться на другое устройство. Для получения дополнительной информации о выборе другого устройства см.Емкость устройства .
Когда вы отправляете запрос на тестирование, ваше приложение сначала подтверждено, повторно подписано и т. Д. При подготовке к выполнению тестов на устройстве. Обычно этот процесс завершается менее чем за несколько секунд, но на него могут влиять такие факторы, как размер вашего приложения.
После того, как ваше приложение будет подготовлено, выполнение тестирования запланировано и остается в очереди, пока устройство не будет готово для его запуска. До тех пор, пока все выполнения тестирования завершатся запущены, статус матрицы будет «ожидает» (независимо от того, находятся ли выполнения тестирования в очереди или активно работают).
После того, как выполнение тестирования завершено, тестовые артефакты загружаются с устройства, обрабатывают и загружаются в Cloud Storage . На продолжительность этого шага может повлиять количество и размер артефактов.
Часто задаваемые вопросы
Firebase Test Lab предлагает бесплатные квоты для тестирования на устройствах и для использования облачных API. Обратите внимание, что квота тестирования использует стандартный план ценообразования Firebase, в то время как квоты API Cloud.
Квота тестирования
Квоты тестирования определяются по количеству устройств, используемых для запуска тестов. План Firebase Spark имеет фиксированную квоту тестирования бесплатно для пользователей. Для плана пламени ваши квоты могут увеличиться, если ваше использование Google Cloud увеличится с течением времени. Если вы достигнете своей квоты тестирования, подождите до следующего дня или обновите план пламени, если вы в настоящее время находитесь в плане Spark. Если вы уже находитесь в плане пламени, вы можете запросить увеличение квоты. Для получения дополнительной информации см. Квоту тестирования .
Вы можете отслеживать использование квот для тестирования в консоли Google Cloud .
Облачные тестирование квоты API
API облачного тестирования поставляется с двумя ограничениями квот: запросы в день на проект и запросы на каждые 100 секунд за проект. Вы можете отслеживать свое использование в Google Cloud .
Результаты облачного инструмента API Квота
Результаты облачного инструмента API поставляется с двумя ограничениями квот: запросы в день на проект и запросы на каждые 100 секунд на проект. Вы можете отслеживать свое использование в Google Cloud .
Обратитесь к квотам Cloud API для Test Lab для получения дополнительной информации об ограничениях API. Если вы достигли квоты API:
Отправьте запрос на более высокие квоты, редактируя квоты непосредственно в Google Cloud (обратите внимание, что большинство ограничений установлены на максимум по умолчанию) или
Запросите более высокие квоты API, заполнив форму запроса в консоли Google Cloud или связавшись с поддержкой Firebase .
Из вашего бэкэнда вы можете определить, поступает ли трафик из проезжаемых на Firebase Test Devices, проверяя исходный IP-адрес на наши IP-диапазоны .
Test Lab не работает с VPC-SC, которая блокирует копирование приложений и других испытательных артефактов между внутренней хранением Test Lab и ведрами пользователей.
Чтобы обнаружить флофирное поведение в ваших тестах, мы рекомендуем использовать--ну-флаки-тест-аттэмпвариант. Повреждения дефлекса выставляются счета или учитываются в вашей ежедневной квоте, так же, как обычные выполнения испытаний.
Имейте в виду следующее:
- Весь выполнение теста работает снова, когда обнаружен сбой. Там нет поддержки повторения только неудачных тестовых случаев.
- Прогиб Deflak Retry планируется работать одновременно, но не гарантированно будет работать параллельно, например, когда трафик превышает количество доступных устройств.
Хотя некоторые из этих предметов находятся на нашей дорожной карте, в настоящее время мы не можем обеспечить приверженность поддержке этих платформ тестирования и разработки приложений.
Подробная информация об устройстве доступна через API и может быть доступна от клиента GCLOUD, используя команду Description :
gcloud firebase test ios models describe MODEL
Шардинг не поддержан в Test Lab для iOS. Тем не менее, вы можете использовать тестовые примеры Flunk для Shard IOS.
Это работает, устанавливая OnlyTestIdentifiers клавишу и значения только в файле .xctestrun . Смотрите страницу man для xcodebuild.xctestrun для получения более подробной информации.
Для iOS 18 или позже мы не можем поддерживать видео в результатах.
Известные проблемы
Robo Test не может обойти экраны регистрации, которые требуют дополнительных пользовательских действий, помимо введения учетных данных, чтобы войти, например, завершить CAPTCHA.
Robo Test лучше всего работает с приложениями, которые используют элементы пользовательского интерфейса из Android -Framework (включая объекты View , ViewGroup и WebView ). Если вы используете Robo Test для использования приложений, которые используют другие рамки пользовательского интерфейса, включая приложения, которые используют игровой двигатель Unity, тест может выйти без изучения за пределы первого экрана.