Tester avec la Google Cloud CLI

Ce guide explique comment exécuter un XCTest ou un test de boucle de jeu à l'aide de la gcloud CLI.

Étape 1 : Configurer votre environnement local du SDK Google Cloud

Téléchargez le SDK Google Cloud.

Cela inclut l'outil gcloud CLI.

Assurez-vous que votre installation est à jour et inclut la gcloud firebase commande :
```
      gcloud components update
```
Connectez-vous à la gcloud CLI à l'aide de votre compte Google :
```
      gcloud auth login
```
Définissez votre projet Firebase dans gcloud, où PROJECT_ID correspond à l'ID de votre projet Firebase :
```
     gcloud config set project PROJECT_ID
```

Étape 2 : Exécuter votre test

Exécuter un XCTest

Importez le fichier .zip de votre test en exécutant la commande suivante (si vous n'avez pas encore empaqueté votre application, consultez Empaqueter votre XCTest) :
```
cd FOLDER_WITH_TEST_OUTPUT/Build/Products ; \
zip -r MyTests.zip Debug-iphoneos YOUR_SCHEME_iphoneosDEPLOYMENT_TARGET-arm64.xctestrun
```
Choisissez les dimensions de votre test.

Test Lab vous permet d'exécuter des tests sur différentes versions d'iOS, différents appareils, différentes orientations d'écran et différents paramètres régionaux. Ces configurations sont appelées dimensions de test. Pour afficher les options de chaque dimension (par exemple, les versions Xcode compatibles pour la version iOS de l'appareil), remplacez models, versions ou locales par dimension dans la commande suivante :
```
gcloud firebase test ios dimension list
```
L'orientation de l'écran est un peu plus simple, car ses seules options sont portrait et landscape.

Parcourez la liste des dimensions de test et sélectionnez quelques combinaisons sur lesquelles vous souhaitez exécuter votre test. Consultez les forfaits pour connaître le nombre maximal de combinaisons que vous pouvez exécuter par jour.

Remarque : Le tableau list de chaque dimension inclut une colonne TAGS, avec une ligne taguée comme default. Cette ligne correspond à la dimension que Test Lab utilise si vous ne spécifiez pas de valeur pour cette dimension.
Une fois que vous avez choisi un ensemble de dimensions de test, vous pouvez demander à Test Lab d'exécuter vos tests à l'aide de la commande firebase test ios run. Pour chaque combinaison de dimensions de test sur laquelle vous souhaitez effectuer des tests, incluez un indicateur --device distinct :
```
gcloud firebase test ios run --test PATH/TO/MyTests.zip \
 --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
 --device model=MODEL_ID_2,version=VERSION_ID_2,locale=LOCALE_2,orientation=ORIENTATION_2 \
 etc...
```
Il est possible que votre test échoue en raison d'une incompatibilité entre la version Xcode avec laquelle le test a été créé et la version Xcode par défaut utilisée par Test Lab. Pour spécifier une version Xcode compatible pour votre test, utilisez l'indicateur --xcode-version :
```
gcloud firebase test ios run --test PATH/TO/MyTests.zip \
 --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
 --xcode-version=15
```
Pour vous aider à identifier et à localiser vos matrices de test dans la Firebase console, vous pouvez éventuellement les libeller à l'aide de l' --client-details matrixLabel="<label>" indicateur dans l'exemple suivant :
```
gcloud beta firebase test ios run --test PATH/TO/MyTests.zip \
  --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
  --client-details matrixLabel="my label"
```
Remarque : L'indicateur --client-details n'est compatible qu'avec les canaux Alpha et bêta de la gcloud CLI.

Tester les droits spéciaux

Pour tester les droits qui nécessitent un ID d'application explicite, vous pouvez le faire en définissant l'indicateur --test-special-entitlements. Test Lab Test Lab signe à nouveau l'application avec un nouvel identifiant de bundle pour prendre en charge les droits spéciaux. Assurez-vous donc qu'aucun fichier de votre fichier ZIP ne contient de références directes à l'identifiant de bundle de l'application.

Droits compatibles :

Notifications push apns-environment
VPN personnel com.apple.developer.networking.vpn.api

Notifications push

Pour autoriser les requêtes de notification push, les utilisateurs peuvent créer des jetons Web JSON à l'aide de la clé de signature privée signing key ainsi que de l'ID de clé - C7FD9DJAA8 et de l'ID d'équipe - 9CKCGNNUQN. Les jetons générés sont valides pendant une heure et doivent être actualisés toutes les 60 minutes. Pour en savoir plus, consultez Établir une connexion basée sur un jeton avec APNs.

Groupes d'applications

Les ID de groupe d'applications sont universellement uniques. Cela signifie que lorsque nous signons à nouveau des applications utilisateur, nous ne pouvons utiliser que l'ID de groupe d'applications associé au compte de développeur Test Lab. Si votre test repose sur des groupes d'applications, il échouera.

Exécuter un test de boucle de jeu

Exécutez la commande gcloud beta firebase test ios run et utilisez les indicateurs suivants pour configurer l'exécution :

Indicateurs pour les tests de boucle de jeu
`--type`	Obligatoire : spécifie le type de test iOS que vous souhaitez exécuter. Vous pouvez saisir les types de test `xctest` (par défaut) ou `game-loop`.
`--app`	Obligatoire : chemin d'accès absolu (GCS ou système de fichiers) au fichier IPA de votre application. Cet indicateur n'est valide que lors de l'exécution de tests de boucle de jeu.
`--scenario-numbers`	Les boucles (également appelées scénarios) que vous souhaitez exécuter dans votre application. Vous pouvez saisir une boucle, une liste de boucles ou une plage de boucles. La boucle par défaut est 1. Par exemple, `--scenario-numbers=1-3,5` exécute les boucles 1, 2, 3 et 5.
`--device-model`	L'appareil physique sur lequel vous souhaitez exécuter votre test (découvrez les appareils disponibles que vous pouvez utiliser).
`--timeout`	La durée maximale pendant laquelle vous souhaitez que votre test s'exécute. Vous pouvez saisir un entier pour représenter la durée en secondes, ou un entier et une énumération pour représenter la durée en tant qu'unité de temps plus longue. Exemple : `--timeout=200` force l'arrêt de votre test lorsqu'il atteint 200 secondes. `--timeout=1h` force l'arrêt de votre test lorsqu'il atteint une heure.

Par exemple, la commande suivante exécute un test de boucle de jeu qui exécute les boucles 1, 4, 6, 7 et 8 sur un iPhone 8 Plus :

gcloud beta firebase test ios run
 --type game-loop --app path/to/my/App.ipa --scenario-numbers 1,4,6-8
 --device-model=iphone8plus

Pour en savoir plus sur la gcloud CLI, consultez la documentation de référence.

Étape 3 (facultative) : Automatiser les futurs tests que vous créez

Écrire des scripts pour les commandes gcloud avec Test Lab

Vous pouvez utiliser des scripts shell ou des fichiers de commandes pour automatiser les commandes de test d'applications mobiles que vous exécuteriez normalement à l'aide de la ligne de commande gcloud. Cet exemple de script bash exécute un XCTest avec un délai d'inactivité de deux minutes et indique si l'exécution du test s'est terminée correctement :

if gcloud firebase test ios run --test MyTest.zip --timeout 2m
then
    echo "Test matrix successfully finished"
else
    echo "Test matrix exited abnormally with non-zero exit code: " $?
fi

Codes de sortie de script

Test Lab fournit plusieurs codes de sortie que vous pouvez utiliser pour mieux comprendre les résultats des tests que vous exécutez à l'aide de scripts ou de fichiers de commandes.

Code de sortie	Remarques
0	Toutes les exécutions de test ont réussi.
1	Une erreur générale s'est produite. Les causes possibles incluent un nom de fichier qui n'existe pas ou une erreur HTTP/réseau.
2	Le test s'est arrêté, car des commandes ou des arguments inconnus ont été fournis.
10	Un ou plusieurs scénarios de test (classes testées ou méthodes de classe) d'une exécution de test n'ont pas réussi.
15	Firebase Test Lab n'a pas pu déterminer si la matrice de test a réussi ou échoué en raison d'une erreur inattendue.
19	La matrice de test a été annulée par l'utilisateur.
20	Une erreur d'infrastructure de test s'est produite.

Étape 4 : Examiner les résultats des tests

Au début du test, vous recevez un lien vers la page Résultats des tests. L'exécution des tests peut prendre plusieurs minutes, en fonction du nombre de configurations différentes que vous avez sélectionnées et de la durée du délai d'inactivité définie pour vos tests. Une fois vos tests exécutés, vous pouvez examiner les résultats. Consultez Analyser les résultats pour découvrir comment interpréter les résultats de vos tests.Firebase Test Lab

Étape suivante

Consultez la documentation du SDK Google Cloud pour découvrir les options de test qui sont généralement disponibles ou en version bêta.