Тестирование с помощью Google Cloud CLI

В этом руководстве описывается, как запустить тест XCTest или тест Game Loop с помощью интерфейса командной строки gcloud.

Шаг 1. Настройте локальную среду Google Cloud SDK.

  1. Загрузите Google Cloud SDK
  2. Сюда входит инструмент CLI gcloud.

  3. Убедитесь, что ваша установка обновлена ​​и включает команду gcloud firebase :
          gcloud components update
  4. Войдите в интерфейс командной строки gcloud, используя свою учетную запись Google:
          gcloud auth login
  5. Настройте свой проект Firebase в gcloud, где PROJECT_ID — это идентификатор вашего проекта Firebase:
         gcloud config set project PROJECT_ID

Шаг 2. Запустите тест.

Запустите XCTest

  1. Загрузите ZIP-файл вашего теста, выполнив следующую команду (если вы еще не упаковали свое приложение, см. Упаковка вашего XCTest ):

    cd FOLDER_WITH_TEST_OUTPUT/Build/Products ; \
    zip -r MyTests.zip Debug-iphoneos YOUR_SCHEME_iphoneosDEPLOYMENT_TARGET-arm64.xctestrun
  2. Выберите размеры теста.

    Test Lab позволяет запускать тесты на различных версиях iOS, устройствах, ориентациях экрана и языковых стандартах. Эти конфигурации известны как тестовые размеры теста. Чтобы просмотреть параметры для каждого измерения (например, поддерживаемые версии Xcode для версии iOS устройства), замените models , versions или locales для dimension в следующей команде:

    gcloud firebase test ios dimension list

    Ориентация экрана несколько проще, поскольку ее единственными вариантами являются portrait и landscape .

    Просмотрите список параметров теста и выберите несколько комбинаций, на которых вы хотите провести тест. Посетите «Ценовые планы», чтобы узнать максимальное количество комбинаций, которые вы можете запускать в день.

  3. После того как вы выбрали набор измерений теста, вы можете позволить Test Lab запускать ваши тесты с помощью команды firebase test ios run . Для каждой комбинации параметров теста, которые вы хотите протестировать, включите отдельный флаг --device :

    gcloud firebase test ios run --test PATH/TO/MyTests.zip \
     --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
     --device model=MODEL_ID_2,version=VERSION_ID_2,locale=LOCALE_2,orientation=ORIENTATION_2 \
     etc...

    Вполне возможно, что ваш тест завершится неудачей из-за несовместимости между версией Xcode, с помощью которой был создан тест, и версией Xcode по умолчанию, используемой Test Lab . Чтобы указать поддерживаемую версию Xcode для вашего теста, используйте флаг --xcode-version :

    gcloud firebase test ios run --test PATH/TO/MyTests.zip \
     --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
     --xcode-version=15

    Чтобы помочь вам идентифицировать и найти свои тестовые матрицы в консоли Firebase , вы можете при желании пометить свою тестовую матрицу с помощью флага --client-details matrixLabel="<label>" в следующем примере:

    gcloud beta firebase test ios run --test PATH/TO/MyTests.zip \
      --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
      --client-details matrixLabel="my label"

Тестирование специальных прав

Чтобы проверить права, требующие явного идентификатора приложения, вы можете сделать это, установив флаг --test-special-entitlements . Test Lab повторно подписывает приложение, используя новый идентификатор пакета для поддержки специальных прав, поэтому убедитесь, что в вашем zip-файле нет ресурсов, содержащих прямые ссылки на идентификатор пакета приложения.

Поддерживаемые права:
  1. Push apns-environment уведомления
  2. Персональный VPN com.apple.developer.networking.vpn.api
Push-уведомления

Для авторизации запросов push-уведомлений пользователи могут создавать веб-токены JSON, используя закрытый ключ подписи вместе с идентификатором ключа — C7FD9DJAA8 и идентификатором команды — 9CKCGNNUQN . Сгенерированные токены будут действительны в течение одного часа и должны обновляться каждые 60 минут. Узнайте больше об установке подключения на основе токена к APN.

Группы приложений

Идентификаторы групп приложений универсально уникальны. Это означает, что при повторной подписи пользовательских приложений мы можем использовать только идентификатор группы приложений, связанный с учетной записью разработчика Test Lab . Если ваш тест основан на группах приложений, он завершится неудачно.

Запустите тест игрового цикла

Запустите команду gcloud beta firebase test ios run и используйте следующие флаги для настройки запуска:

Флаги для тестов игрового цикла
--type

Обязательно : указывает тип теста iOS, который вы хотите запустить. Вы можете ввести типы тестов xctest (по умолчанию) или game-loop .

--app

Обязательно : абсолютный путь (GCS или файловая система) к файлу IPA вашего приложения. Этот флаг действителен только при запуске тестов Game Loop.

--scenario-numbers

Циклы (так называемые сценарии), которые вы хотите запустить в своем приложении. Вы можете ввести один цикл, список или циклы или диапазон циклов. Цикл по умолчанию равен 1.

Например, --scenario-numbers=1-3,5 запускает циклы 1, 2, 3 и 5.

--device-model

Физическое устройство, на котором вы хотите провести тест (узнайте, какие доступные устройства вы можете использовать).

--timeout

Максимальная продолжительность выполнения теста. Вы можете ввести целое число, чтобы представить длительность в секундах, или целое число и перечисление, чтобы представить длительность как более длительную единицу времени.

Например:

  • --timeout=200 заставляет ваш тест завершиться, когда он продлится до 200 секунд.
  • --timeout=1h заставляет ваш тест завершиться, когда он продлится до часа.

Например, следующая команда запускает тест Game Loop, который выполняет циклы 1, 4, 6, 7 и 8 на iPhone 8 Plus:

gcloud beta firebase test ios run
 --type game-loop --app path/to/my/App.ipa --scenario-numbers 1,4,6-8
 --device-model=iphone8plus

Дополнительную информацию о CLI gcloud смотрите в справочной документации .

Шаг 3 (необязательно) . Автоматизируйте будущие тесты, которые вы будете создавать.

Создание сценариев команд gcloud с помощью Test Lab

Вы можете использовать сценарии оболочки или пакетные файлы для автоматизации команд тестирования мобильных приложений, которые в противном случае вы бы запускали с помощью командной строки gcloud. Этот пример сценария bash запускает XCTest с двухминутным тайм-аутом и сообщает, успешно ли завершился тестовый запуск:

if gcloud firebase test ios run --test MyTest.zip --timeout 2m
then
    echo "Test matrix successfully finished"
else
    echo "Test matrix exited abnormally with non-zero exit code: " $?
fi

Коды выхода скрипта

Test Lab предоставляет несколько кодов завершения, которые можно использовать, чтобы лучше понять результаты тестов, запускаемых с помощью сценариев или пакетных файлов.

Код выхода Примечания
0 Все тестовые выполнения пройдены.
1 Произошел общий сбой. Возможные причины: несуществующее имя файла или ошибка HTTP/сети.
2 Тестирование прервано, поскольку были предоставлены неизвестные команды или аргументы.
10 Один или несколько тестовых случаев (тестируемые классы или методы класса) в рамках выполнения теста не пройдены.
15 Firebase Test Lab не удалось определить, пройдена или не пройдена тестовая матрица из-за непредвиденной ошибки.
19 Тестовая матрица была отменена пользователем.
20 Произошла ошибка тестовой инфраструктуры.

Шаг 4. Изучите результаты испытаний.

Когда тест начнется, вы получите ссылку на страницу результатов теста . Выполнение тестов может занять несколько минут в зависимости от количества выбранных вами различных конфигураций и продолжительности тайм-аута, установленной для ваших тестов. После запуска тестов вы можете просмотреть их результаты. См. раздел «Анализ результатов Firebase Test Lab чтобы узнать больше о том, как интерпретировать результаты тестов.

Следующий шаг

Прочтите документацию Google Cloud SDK, чтобы изучить варианты тестирования, которые общедоступны или находятся в стадии бета-тестирования .

,

В этом руководстве описывается, как запустить тест XCTest или тест Game Loop с помощью интерфейса командной строки gcloud.

Шаг 1. Настройте локальную среду Google Cloud SDK.

  1. Загрузите Google Cloud SDK
  2. Сюда входит инструмент CLI gcloud.

  3. Убедитесь, что ваша установка обновлена ​​и включает команду gcloud firebase :
          gcloud components update
  4. Войдите в интерфейс командной строки gcloud, используя свою учетную запись Google:
          gcloud auth login
  5. Настройте свой проект Firebase в gcloud, где PROJECT_ID — это идентификатор вашего проекта Firebase:
         gcloud config set project PROJECT_ID

Шаг 2. Запустите тест.

Запустите XCTest

  1. Загрузите ZIP-файл вашего теста, выполнив следующую команду (если вы еще не упаковали свое приложение, см. Упаковка вашего XCTest ):

    cd FOLDER_WITH_TEST_OUTPUT/Build/Products ; \
    zip -r MyTests.zip Debug-iphoneos YOUR_SCHEME_iphoneosDEPLOYMENT_TARGET-arm64.xctestrun
  2. Выберите размеры теста.

    Test Lab позволяет запускать тесты на различных версиях iOS, устройствах, ориентациях экрана и языковых стандартах. Эти конфигурации известны как тестовые размеры теста. Чтобы просмотреть параметры для каждого измерения (например, поддерживаемые версии Xcode для версии iOS устройства), замените models , versions или locales для dimension в следующей команде:

    gcloud firebase test ios dimension list

    Ориентация экрана несколько проще, поскольку ее единственными вариантами являются portrait и landscape .

    Просмотрите список параметров теста и выберите несколько комбинаций, на которых вы хотите провести тест. Посетите «Ценовые планы», чтобы узнать максимальное количество комбинаций, которые вы можете запускать в день.

  3. После того как вы выбрали набор измерений теста, вы можете позволить Test Lab запускать ваши тесты с помощью команды firebase test ios run . Для каждой комбинации параметров теста, которые вы хотите протестировать, включите отдельный флаг --device :

    gcloud firebase test ios run --test PATH/TO/MyTests.zip \
     --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
     --device model=MODEL_ID_2,version=VERSION_ID_2,locale=LOCALE_2,orientation=ORIENTATION_2 \
     etc...

    Вполне возможно, что ваш тест завершится неудачей из-за несовместимости между версией Xcode, с помощью которой был создан тест, и версией Xcode по умолчанию, используемой Test Lab . Чтобы указать поддерживаемую версию Xcode для вашего теста, используйте флаг --xcode-version :

    gcloud firebase test ios run --test PATH/TO/MyTests.zip \
     --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
     --xcode-version=15

    Чтобы помочь вам идентифицировать и найти свои тестовые матрицы в консоли Firebase , вы можете при желании пометить свою тестовую матрицу с помощью флага --client-details matrixLabel="<label>" в следующем примере:

    gcloud beta firebase test ios run --test PATH/TO/MyTests.zip \
      --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
      --client-details matrixLabel="my label"

Тестирование специальных прав

Чтобы проверить права, требующие явного идентификатора приложения, вы можете сделать это, установив флаг --test-special-entitlements . Test Lab повторно подписывает приложение, используя новый идентификатор пакета для поддержки специальных прав, поэтому убедитесь, что в вашем zip-файле нет ресурсов, содержащих прямые ссылки на идентификатор пакета приложения.

Поддерживаемые права:
  1. Push apns-environment уведомления
  2. Персональный VPN com.apple.developer.networking.vpn.api
Push-уведомления

Для авторизации запросов push-уведомлений пользователи могут создавать веб-токены JSON, используя закрытый ключ подписи вместе с идентификатором ключа — C7FD9DJAA8 и идентификатором команды — 9CKCGNNUQN . Сгенерированные токены будут действительны в течение одного часа и должны обновляться каждые 60 минут. Узнайте больше об установке подключения на основе токена к APN.

Группы приложений

Идентификаторы групп приложений универсально уникальны. Это означает, что при повторной подписи пользовательских приложений мы можем использовать только идентификатор группы приложений, связанный с учетной записью разработчика Test Lab . Если ваш тест основан на группах приложений, он завершится неудачей.

Запустите тест игрового цикла

Запустите команду gcloud beta firebase test ios run и используйте следующие флаги для настройки запуска:

Флаги для тестов игрового цикла
--type

Обязательно : указывает тип теста iOS, который вы хотите запустить. Вы можете ввести типы тестов xctest (по умолчанию) или game-loop .

--app

Обязательно : абсолютный путь (GCS или файловая система) к файлу IPA вашего приложения. Этот флаг действителен только при запуске тестов Game Loop.

--scenario-numbers

Циклы (так называемые сценарии), которые вы хотите запустить в своем приложении. Вы можете ввести один цикл, список или циклы или диапазон циклов. Цикл по умолчанию равен 1.

Например, --scenario-numbers=1-3,5 запускает циклы 1, 2, 3 и 5.

--device-model

Физическое устройство, на котором вы хотите провести тест (узнайте, какие доступные устройства вы можете использовать).

--timeout

Максимальная продолжительность выполнения теста. Вы можете ввести целое число, чтобы представить длительность в секундах, или целое число и перечисление, чтобы представить длительность как более длительную единицу времени.

Например:

  • --timeout=200 заставляет ваш тест завершиться, когда он продлится до 200 секунд.
  • --timeout=1h заставляет ваш тест завершиться, когда он продлится до часа.

Например, следующая команда запускает тест Game Loop, который выполняет циклы 1, 4, 6, 7 и 8 на iPhone 8 Plus:

gcloud beta firebase test ios run
 --type game-loop --app path/to/my/App.ipa --scenario-numbers 1,4,6-8
 --device-model=iphone8plus

Дополнительную информацию о CLI gcloud смотрите в справочной документации .

Шаг 3 (необязательно) . Автоматизируйте будущие тесты, которые вы будете создавать.

Создание сценариев команд gcloud с помощью Test Lab

Вы можете использовать сценарии оболочки или пакетные файлы для автоматизации команд тестирования мобильных приложений, которые в противном случае вы бы запускали с помощью командной строки gcloud. Этот пример сценария bash запускает XCTest с двухминутным тайм-аутом и сообщает, успешно ли завершился запуск теста:

if gcloud firebase test ios run --test MyTest.zip --timeout 2m
then
    echo "Test matrix successfully finished"
else
    echo "Test matrix exited abnormally with non-zero exit code: " $?
fi

Коды выхода скрипта

Test Lab предоставляет несколько кодов завершения, которые можно использовать, чтобы лучше понять результаты тестов, запускаемых с помощью сценариев или пакетных файлов.

Код выхода Примечания
0 Все тестовые выполнения пройдены.
1 Произошел общий сбой. Возможные причины: несуществующее имя файла или ошибка HTTP/сети.
2 Тестирование прервано, поскольку были предоставлены неизвестные команды или аргументы.
10 Один или несколько тестовых случаев (тестируемые классы или методы класса) в рамках выполнения теста не пройдены.
15 Firebase Test Lab не удалось определить, пройдена или не пройдена тестовая матрица из-за непредвиденной ошибки.
19 Тестовая матрица была отменена пользователем.
20 Произошла ошибка тестовой инфраструктуры.

Шаг 4. Изучите результаты испытаний.

Когда тест начнется, вы получите ссылку на страницу результатов теста . Выполнение тестов может занять несколько минут в зависимости от количества выбранных вами различных конфигураций и продолжительности тайм-аута, установленной для ваших тестов. После запуска тестов вы можете просмотреть их результаты. См. раздел «Анализ результатов Firebase Test Lab чтобы узнать больше о том, как интерпретировать результаты тестов.

Следующий шаг

Прочтите документацию Google Cloud SDK, чтобы изучить варианты тестирования, которые общедоступны или находятся в стадии бета-тестирования .

,

В этом руководстве описывается, как запустить тест XCTest или тест Game Loop с помощью интерфейса командной строки gcloud.

Шаг 1. Настройте локальную среду Google Cloud SDK.

  1. Загрузите Google Cloud SDK
  2. Сюда входит инструмент CLI gcloud.

  3. Убедитесь, что ваша установка обновлена ​​и включает команду gcloud firebase :
          gcloud components update
  4. Войдите в интерфейс командной строки gcloud, используя свою учетную запись Google:
          gcloud auth login
  5. Настройте свой проект Firebase в gcloud, где PROJECT_ID — это идентификатор вашего проекта Firebase:
         gcloud config set project PROJECT_ID

Шаг 2. Запустите тест.

Запустите XCTest

  1. Загрузите ZIP-файл вашего теста, выполнив следующую команду (если вы еще не упаковали свое приложение, см. Упаковка вашего XCTest ):

    cd FOLDER_WITH_TEST_OUTPUT/Build/Products ; \
    zip -r MyTests.zip Debug-iphoneos YOUR_SCHEME_iphoneosDEPLOYMENT_TARGET-arm64.xctestrun
  2. Выберите размеры теста.

    Test Lab позволяет запускать тесты на различных версиях iOS, устройствах, ориентациях экрана и языковых стандартах. Эти конфигурации известны как тестовые размеры теста. Чтобы просмотреть параметры для каждого измерения (например, поддерживаемые версии Xcode для версии iOS устройства), замените models , versions или locales для dimension в следующей команде:

    gcloud firebase test ios dimension list

    Ориентация экрана несколько проще, поскольку ее единственными вариантами являются portrait и landscape .

    Просмотрите список параметров теста и выберите несколько комбинаций, на которых вы хотите провести тест. Посетите «Ценовые планы», чтобы узнать максимальное количество комбинаций, которые вы можете запускать в день.

  3. После того как вы выбрали набор измерений теста, вы можете позволить Test Lab запускать ваши тесты с помощью команды firebase test ios run . Для каждой комбинации параметров теста, которые вы хотите протестировать, включите отдельный флаг --device :

    gcloud firebase test ios run --test PATH/TO/MyTests.zip \
     --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
     --device model=MODEL_ID_2,version=VERSION_ID_2,locale=LOCALE_2,orientation=ORIENTATION_2 \
     etc...

    Вполне возможно, что ваш тест завершится неудачей из-за несовместимости между версией Xcode, с помощью которой был создан тест, и версией Xcode по умолчанию, используемой Test Lab . Чтобы указать поддерживаемую версию Xcode для вашего теста, используйте флаг --xcode-version :

    gcloud firebase test ios run --test PATH/TO/MyTests.zip \
     --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
     --xcode-version=15

    Чтобы помочь вам идентифицировать и найти свои тестовые матрицы в консоли Firebase , вы можете при желании пометить свою тестовую матрицу с помощью флага --client-details matrixLabel="<label>" в следующем примере:

    gcloud beta firebase test ios run --test PATH/TO/MyTests.zip \
      --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
      --client-details matrixLabel="my label"

Тестирование специальных прав

Чтобы проверить права, требующие явного идентификатора приложения, вы можете сделать это, установив флаг --test-special-entitlements . Test Lab повторно подписывает приложение, используя новый идентификатор пакета для поддержки специальных прав, поэтому убедитесь, что в вашем zip-файле нет ресурсов, содержащих прямые ссылки на идентификатор пакета приложения.

Поддерживаемые права:
  1. Push apns-environment уведомления
  2. Персональный VPN com.apple.developer.networking.vpn.api
Push-уведомления

Для авторизации запросов push-уведомлений пользователи могут создавать веб-токены JSON, используя закрытый ключ подписи вместе с идентификатором ключа — C7FD9DJAA8 и идентификатором команды — 9CKCGNNUQN . Сгенерированные токены будут действительны в течение одного часа и должны обновляться каждые 60 минут. Узнайте больше об установке подключения на основе токена к APN.

Группы приложений

Идентификаторы групп приложений универсально уникальны. Это означает, что при повторной подписи пользовательских приложений мы можем использовать только идентификатор группы приложений, связанный с учетной записью разработчика Test Lab . Если ваш тест основан на группах приложений, он завершится неудачно.

Запустите тест игрового цикла

Запустите команду gcloud beta firebase test ios run и используйте следующие флаги для настройки запуска:

Флаги для тестов игрового цикла
--type

Обязательно : указывает тип теста iOS, который вы хотите запустить. Вы можете ввести типы тестов xctest (по умолчанию) или game-loop .

--app

Обязательно : абсолютный путь (GCS или файловая система) к файлу IPA вашего приложения. Этот флаг действителен только при запуске тестов Game Loop.

--scenario-numbers

Циклы (так называемые сценарии), которые вы хотите запустить в своем приложении. Вы можете ввести один цикл, список или циклы или диапазон циклов. Цикл по умолчанию равен 1.

Например, --scenario-numbers=1-3,5 запускает циклы 1, 2, 3 и 5.

--device-model

Физическое устройство, на котором вы хотите провести тест (узнайте, какие доступные устройства вы можете использовать).

--timeout

Максимальная продолжительность выполнения теста. Вы можете ввести целое число, чтобы представить длительность в секундах, или целое число и перечисление, чтобы представить длительность как более длительную единицу времени.

Например:

  • --timeout=200 заставляет ваш тест завершиться, когда он продлится до 200 секунд.
  • --timeout=1h заставляет ваш тест завершиться, когда он продлится до часа.

Например, следующая команда запускает тест Game Loop, который выполняет циклы 1, 4, 6, 7 и 8 на iPhone 8 Plus:

gcloud beta firebase test ios run
 --type game-loop --app path/to/my/App.ipa --scenario-numbers 1,4,6-8
 --device-model=iphone8plus

Дополнительную информацию о CLI gcloud смотрите в справочной документации .

Шаг 3 (необязательно) . Автоматизируйте будущие тесты, которые вы будете создавать.

Создание сценариев команд gcloud с помощью Test Lab

Вы можете использовать сценарии оболочки или пакетные файлы для автоматизации команд тестирования мобильных приложений, которые в противном случае вы бы запускали с помощью командной строки gcloud. Этот пример сценария bash запускает XCTest с двухминутным тайм-аутом и сообщает, успешно ли завершился запуск теста:

if gcloud firebase test ios run --test MyTest.zip --timeout 2m
then
    echo "Test matrix successfully finished"
else
    echo "Test matrix exited abnormally with non-zero exit code: " $?
fi

Коды выхода скрипта

Test Lab предоставляет несколько кодов завершения, которые можно использовать, чтобы лучше понять результаты тестов, запускаемых с помощью сценариев или пакетных файлов.

Код выхода Примечания
0 Все тестовые выполнения пройдены.
1 Произошел общий сбой. Возможные причины: несуществующее имя файла или ошибка HTTP/сети.
2 Тестирование прервано, поскольку были предоставлены неизвестные команды или аргументы.
10 Один или несколько тестовых случаев (тестируемые классы или методы класса) в рамках выполнения теста не пройдены.
15 Firebase Test Lab не удалось определить, пройдена или не пройдена тестовая матрица из-за непредвиденной ошибки.
19 Тестовая матрица была отменена пользователем.
20 Произошла ошибка тестовой инфраструктуры.

Шаг 4. Изучите результаты испытаний.

Когда тест начнется, вы получите ссылку на страницу результатов теста . Выполнение тестов может занять несколько минут в зависимости от количества выбранных вами различных конфигураций и продолжительности тайм-аута, установленной для ваших тестов. После запуска тестов вы можете просмотреть их результаты. См. раздел «Анализ результатов Firebase Test Lab чтобы узнать больше о том, как интерпретировать результаты тестов.

Следующий шаг

Прочтите документацию Google Cloud SDK, чтобы изучить варианты тестирования, которые общедоступны или находятся в стадии бета-тестирования .

,

В этом руководстве описывается, как запустить тест XCTest или тест Game Loop с помощью интерфейса командной строки gcloud.

Шаг 1. Настройте локальную среду Google Cloud SDK.

  1. Загрузите Google Cloud SDK
  2. Сюда входит инструмент CLI gcloud.

  3. Убедитесь, что ваша установка обновлена ​​и включает команду gcloud firebase :
          gcloud components update
  4. Войдите в интерфейс командной строки gcloud, используя свою учетную запись Google:
          gcloud auth login
  5. Настройте свой проект Firebase в gcloud, где PROJECT_ID — это идентификатор вашего проекта Firebase:
         gcloud config set project PROJECT_ID

Шаг 2. Запустите тест.

Запустите XCTest

  1. Загрузите ZIP-файл вашего теста, выполнив следующую команду (если вы еще не упаковали свое приложение, см. Упаковка вашего XCTest ):

    cd FOLDER_WITH_TEST_OUTPUT/Build/Products ; \
    zip -r MyTests.zip Debug-iphoneos YOUR_SCHEME_iphoneosDEPLOYMENT_TARGET-arm64.xctestrun
  2. Выберите размеры теста.

    Test Lab позволяет запускать тесты на различных версиях iOS, устройствах, ориентациях экрана и языковых стандартах. Эти конфигурации известны как тестовые размеры теста. Чтобы просмотреть параметры для каждого измерения (например, поддерживаемые версии Xcode для версии iOS устройства), замените models , versions или locales для dimension в следующей команде:

    gcloud firebase test ios dimension list

    Ориентация экрана несколько проще, поскольку ее единственными вариантами являются portrait и landscape .

    Просмотрите список параметров теста и выберите несколько комбинаций, на которых вы хотите провести тест. Посетите «Ценовые планы», чтобы узнать максимальное количество комбинаций, которые вы можете запускать в день.

  3. После того как вы выбрали набор измерений теста, вы можете позволить Test Lab запускать ваши тесты с помощью команды firebase test ios run . Для каждой комбинации параметров теста, которые вы хотите протестировать, включите отдельный флаг --device :

    gcloud firebase test ios run --test PATH/TO/MyTests.zip \
     --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
     --device model=MODEL_ID_2,version=VERSION_ID_2,locale=LOCALE_2,orientation=ORIENTATION_2 \
     etc...

    Вполне возможно, что ваш тест завершится неудачей из-за несовместимости между версией Xcode, с помощью которой был создан тест, и версией Xcode по умолчанию, используемой Test Lab . Чтобы указать поддерживаемую версию Xcode для вашего теста, используйте флаг --xcode-version :

    gcloud firebase test ios run --test PATH/TO/MyTests.zip \
     --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
     --xcode-version=15

    Чтобы помочь вам идентифицировать и найти свои тестовые матрицы в консоли Firebase , вы можете при желании пометить свою тестовую матрицу с помощью флага --client-details matrixLabel="<label>" в следующем примере:

    gcloud beta firebase test ios run --test PATH/TO/MyTests.zip \
      --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
      --client-details matrixLabel="my label"

Тестирование специальных прав

Чтобы проверить права, требующие явного идентификатора приложения, вы можете сделать это, установив флаг --test-special-entitlements . Test Lab повторно подписывает приложение, используя новый идентификатор пакета для поддержки специальных прав, поэтому убедитесь, что в вашем zip-файле нет ресурсов, содержащих прямые ссылки на идентификатор пакета приложения.

Поддерживаемые права:
  1. Push apns-environment уведомления
  2. Персональный VPN com.apple.developer.networking.vpn.api
Push-уведомления

Для авторизации запросов push-уведомлений пользователи могут создавать веб-токены JSON, используя закрытый ключ подписи вместе с идентификатором ключа — C7FD9DJAA8 и идентификатором команды — 9CKCGNNUQN . Сгенерированные токены будут действительны в течение одного часа и должны обновляться каждые 60 минут. Узнайте больше об установке подключения на основе токена к APN.

Группы приложений

Идентификаторы групп приложений универсально уникальны. Это означает, что при повторной подписи пользовательских приложений мы можем использовать только идентификатор группы приложений, связанный с учетной записью разработчика Test Lab . Если ваш тест основан на группах приложений, он завершится неудачей.

Запустите тест игрового цикла

Запустите команду gcloud beta firebase test ios run и используйте следующие флаги для настройки запуска:

Флаги для тестов игрового цикла
--type

Обязательно : указывает тип теста iOS, который вы хотите запустить. Вы можете ввести типы тестов xctest (по умолчанию) или game-loop .

--app

Обязательно : абсолютный путь (GCS или файловая система) к файлу IPA вашего приложения. Этот флаг действителен только при запуске тестов Game Loop.

--scenario-numbers

Циклы (так называемые сценарии), которые вы хотите запустить в своем приложении. Вы можете ввести один цикл, список или циклы или диапазон циклов. Цикл по умолчанию равен 1.

Например, --scenario-numbers=1-3,5 запускает циклы 1, 2, 3 и 5.

--device-model

Физическое устройство, на котором вы хотите провести тест (узнайте, какие доступные устройства вы можете использовать).

--timeout

Максимальная продолжительность выполнения теста. Вы можете ввести целое число, чтобы представить длительность в секундах, или целое число и перечисление, чтобы представить длительность как более длительную единицу времени.

Например:

  • --timeout=200 заставляет ваш тест завершиться, когда он продлится до 200 секунд.
  • --timeout=1h заставляет ваш тест завершиться, когда он продлится до часа.

Например, следующая команда запускает тест Game Loop, который выполняет циклы 1, 4, 6, 7 и 8 на iPhone 8 Plus:

gcloud beta firebase test ios run
 --type game-loop --app path/to/my/App.ipa --scenario-numbers 1,4,6-8
 --device-model=iphone8plus

Дополнительную информацию о CLI gcloud смотрите в справочной документации .

Шаг 3 (необязательно) . Автоматизируйте будущие тесты, которые вы будете создавать.

Создание сценариев команд gcloud с помощью Test Lab

Вы можете использовать сценарии оболочки или пакетные файлы для автоматизации команд тестирования мобильных приложений, которые в противном случае вы бы запускали с помощью командной строки gcloud. Этот пример сценария bash запускает XCTest с двухминутным тайм-аутом и сообщает, успешно ли завершился запуск теста:

if gcloud firebase test ios run --test MyTest.zip --timeout 2m
then
    echo "Test matrix successfully finished"
else
    echo "Test matrix exited abnormally with non-zero exit code: " $?
fi

Коды выхода скрипта

Test Lab предоставляет несколько кодов завершения, которые можно использовать, чтобы лучше понять результаты тестов, запускаемых с помощью сценариев или пакетных файлов.

Код выхода Примечания
0 Все тестовые выполнения пройдены.
1 Произошел общий сбой. Возможные причины: несуществующее имя файла или ошибка HTTP/сети.
2 Тестирование прервано, поскольку были предоставлены неизвестные команды или аргументы.
10 Один или несколько тестовых случаев (тестируемые классы или методы класса) в рамках выполнения теста не пройдены.
15 Firebase Test Lab не удалось определить, пройдена или не пройдена тестовая матрица из-за непредвиденной ошибки.
19 Тестовая матрица была отменена пользователем.
20 Произошла ошибка тестовой инфраструктуры.

Шаг 4. Изучите результаты испытаний.

Когда тест начнется, вы получите ссылку на страницу результатов теста . Выполнение тестов может занять несколько минут в зависимости от количества выбранных вами различных конфигураций и продолжительности тайм-аута, установленной для ваших тестов. После выполнения тестов вы можете просмотреть их результаты. См. раздел «Анализ результатов Firebase Test Lab чтобы узнать больше о том, как интерпретировать результаты тестов.

Следующий шаг

Прочтите документацию Google Cloud SDK, чтобы изучить варианты тестирования, которые общедоступны или находятся в стадии бета-тестирования .