In dieser Anleitung wird beschrieben, wie Sie einen XCTest- oder Game Loop-Test mit der gcloud-Befehlszeilenschnittstelle ausführen.
Schritt 1 : Konfigurieren Sie Ihre lokale Google Cloud SDK-Umgebung
- Laden Sie das Google Cloud-SDK herunter.
- Stellen Sie sicher, dass Ihre Installation auf dem neuesten Stand ist und den
gcloud firebaseBefehl enthält:gcloud components update - Melden Sie sich mit Ihrem Google-Konto bei der gcloud-Befehlszeilenschnittstelle an:
gcloud auth login - Legen Sie Ihr Firebase-Projekt in gcloud fest, wobei PROJECT_ID die ID Ihres Firebase-Projekts ist:
gcloud config set project PROJECT_ID
Dazu gehört das CLI-Tool gcloud.
Schritt 2 : Führen Sie Ihren Test durch
Führen Sie einen XCTest durch
Laden Sie die .zip-Datei Ihres Tests hoch, indem Sie den folgenden Befehl ausführen (wenn Sie Ihre App noch nicht gepackt haben, siehe Packen Ihres XCTest ):
cd FOLDER_WITH_TEST_OUTPUT/Build/Products ; \ zip -r MyTests.zip Debug-iphoneos YOUR_SCHEME_iphoneosDEPLOYMENT_TARGET-arm64.xctestrun
Wählen Sie Ihre Testdimensionen.
Mit Test Lab können Sie Tests auf einer Vielzahl von iOS-Versionen, Geräten, Bildschirmausrichtungen und Gebietsschemata ausführen. Diese Konfigurationen werden als Testdimensionen des Tests bezeichnet. Um die Optionen für jede Dimension anzuzeigen (z. B. unterstützte Xcode-Versionen für die iOS-Version des Geräts), ersetzen Sie im folgenden Befehl die
dimensiondurchmodels,versionsoderlocales:gcloud firebase test ios dimension list
Die Bildschirmausrichtung ist etwas einfacher, da die einzigen Optionen
portraitundlandscapesind.Sehen Sie sich die Liste der Testdimensionen an und wählen Sie einige Kombinationen aus, für die Sie Ihren Test durchführen möchten. Besuchen Sie Preispläne, um die maximale Anzahl an Kombinationen anzuzeigen, die Sie pro Tag ausführen können.
Nachdem Sie eine Reihe von Testdimensionen ausgewählt haben, können Sie Ihre Tests von Test Lab mit dem Befehl
firebase test ios runausführen lassen. Fügen Sie für jede Kombination von Testdimensionen, die Sie testen möchten, ein separates--deviceFlag ein:gcloud firebase test ios run --test PATH/TO/MyTests.zip \ --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \ --device model=MODEL_ID_2,version=VERSION_ID_2,locale=LOCALE_2,orientation=ORIENTATION_2 \ etc...
Es ist möglich, dass Ihr Test aufgrund einer Inkompatibilität zwischen der Xcode-Version, mit der der Test erstellt wurde, und der von Test Lab verwendeten Standard-Xcode-Version fehlschlägt. Um eine unterstützte Xcode-Version für Ihren Test anzugeben, verwenden Sie das Flag
--xcode-version:gcloud firebase test ios run --test PATH/TO/MyTests.zip \ --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \ --xcode-version=11.3
Um Ihnen zu helfen, Ihre Testmatrizen in der Firebase-Konsole zu identifizieren und zu finden, können Sie Ihre Testmatrix optional mit dem Flag
--client-details matrixLabel="<label>"im folgenden Beispiel kennzeichnen:gcloud beta firebase test ios run --test PATH/TO/MyTests.zip \ --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \ --client-details matrixLabel="my label"
Sonderberechtigungen testen
Um Berechtigungen zu testen, die eine explizite App-ID erfordern, können Sie dies tun, indem Sie das Flag --test-special-entitlements setzen. Test Lab signiert die Anwendung mit einer neuen Bundle-ID neu, um spezielle Berechtigungen zu unterstützen. Stellen Sie daher bitte sicher, dass Ihre ZIP-Datei keine Ressourcen enthält, die direkte Verweise auf die Bundle-ID der App enthalten. Mitteilungen
Zum Autorisieren von Push-Benachrichtigungsanfragen können Benutzer JSON-Webtoken erstellen, indem sie den privaten Signaturschlüssel zusammen mit der Schlüssel-ID – C7FD9DJAA8 und der Team-ID – 9CKCGNNUQN verwenden. Die generierten Token wären eine Stunde lang gültig und müssten alle 60 Minuten aktualisiert werden. Lesen Sie mehr über das Herstellen einer Token-basierten Verbindung zu APNs.
App-GruppenApp-Gruppen-IDs sind universell eindeutig. Das bedeutet, dass wir beim erneuten Signieren von Benutzer-Apps nur die App-Gruppen-ID verwenden können, die dem Test Lab-Entwicklerkonto zugeordnet ist. Wenn Ihr Test auf App-Gruppen basiert, schlägt Ihr Test fehl.
Führen Sie einen Spielschleifentest durch
Führen Sie den Befehl gcloud beta firebase test ios run und verwenden Sie die folgenden Flags, um die Ausführung zu konfigurieren:
| Flags für Game Loop-Tests | |
|---|---|
--type | Erforderlich : Gibt den Typ des iOS-Tests an, den Sie ausführen möchten. Sie können die Testtypen |
--app | Erforderlich : Absoluter Pfad (GCS oder Dateisystem) zur IPA-Datei Ihrer App. Dieses Flag ist nur gültig, wenn Game Loop-Tests ausgeführt werden. |
--scenario-numbers | Die Schleifen (auch bekannt als Szenarien), die Sie in Ihrer App ausführen möchten. Sie können eine Schleife, eine Liste oder Schleifen oder eine Reihe von Schleifen eingeben. Die Standardschleife ist 1. Beispielsweise führt |
--device-model | Das physische Gerät, auf dem Sie Ihren Test durchführen möchten (finden Sie heraus, welche verfügbaren Geräte Sie verwenden können). |
--timeout | Die maximale Dauer, die Ihr Test ausgeführt werden soll. Sie können eine ganze Zahl eingeben, um die Dauer in Sekunden darzustellen, oder eine ganze Zahl und eine Aufzählung, um die Dauer als längere Zeiteinheit darzustellen. Zum Beispiel:
|
Der folgende Befehl führt beispielsweise einen Spielschleifentest aus, der die Schleifen 1, 4, 6, 7 und 8 auf einem iPhone 8 Plus ausführt:
gcloud beta firebase test ios run --type game-loop --app path/to/my/App.ipa --scenario-numbers 1,4,6-8 --device-model=iphone8plus
Weitere Informationen zur gcloud-Befehlszeilenschnittstelle finden Sie in der Referenzdokumentation .
Schritt 3 (optional) : Automatisieren Sie zukünftige Tests, die Sie erstellen
gcloud-Befehle mit Test Lab skripten
Sie können Shell-Skripts oder Batchdateien verwenden, um Befehle zum Testen mobiler Apps zu automatisieren, die Sie andernfalls über die gcloud-Befehlszeile ausführen würden. Dieses Beispiel-Bash-Skript führt einen XCTest mit einem zweiminütigen Timeout aus und meldet, ob der Testlauf erfolgreich abgeschlossen wurde:
if gcloud firebase test ios run --test MyTest.zip --timeout 2m
then
echo "Test matrix successfully finished"
else
echo "Test matrix exited abnormally with non-zero exit code: " $?
fi
Skript-Exit-Codes
Test Lab stellt mehrere Beendigungscodes bereit, die Sie verwenden können, um die Ergebnisse von Tests besser zu verstehen, die Sie mithilfe von Skripts oder Stapeldateien ausführen.
| Exit-Code | Anmerkungen |
|---|---|
| 0 | Alle Testausführungen bestanden. |
| 1 | Es ist ein allgemeiner Fehler aufgetreten. Mögliche Ursachen sind: ein nicht vorhandener Dateiname oder ein HTTP-/Netzwerkfehler. |
| 2 | Der Test wurde beendet, weil unbekannte Befehle oder Argumente bereitgestellt wurden. |
| 10 | Ein oder mehrere Testfälle (getestete Klassen oder Klassenmethoden) innerhalb einer Testausführung wurden nicht bestanden. |
| 15 | Firebase Test Lab konnte aufgrund eines unerwarteten Fehlers nicht feststellen, ob die Testmatrix erfolgreich war oder nicht. |
| 19 | Die Testmatrix wurde vom Benutzer abgebrochen. |
| 20 | Ein Testinfrastrukturfehler ist aufgetreten. |
Schritt 4 : Untersuchen Sie die Testergebnisse
Wenn der Test beginnt, erhalten Sie einen Link zur Seite Testergebnisse . Die Ausführung von Tests kann einige Minuten dauern, abhängig von der Anzahl der verschiedenen Konfigurationen, die Sie ausgewählt haben, und der Test-Timeout-Dauer, die für Ihre Tests festgelegt wurde. Nachdem Ihre Tests ausgeführt wurden, können Sie die Testergebnisse überprüfen. Weitere Informationen zur Interpretation Ihrer Testergebnisse finden Sie unter Analysieren der Firebase-Testlaborergebnisse .
Nächster Schritt
Lesen Sie die Google Cloud SDK-Dokumentation, um Testoptionen zu erkunden, die allgemein verfügbar sind oder sich in der Betaphase befinden .