App-Test-Agent (Android)

Die Funktion „App Testing Agent“ ist eine Vorabversion. Eine Vorabversion unterliegt keinem SLA und keiner Einstellungsrichtlinie und wird möglicherweise nur eingeschränkt oder gar nicht unterstützt.

Wenn Sie den App-Test-Agent verwenden möchten, müssen Sie die Funktion in der Firebase-Konsole aktivieren. Weitere Informationen finden Sie unter Zugriff auf die Vorabversion des App-Test-Agenten.

Der App-Test-Agent ist ein Agent zur Generierung, Verwaltung und Ausführung von Testfällen, der in Firebase von Gemini unterstützt wird. Sie definieren Testziele in natürlicher Sprache und der Agent verwendet KI, um Ihre App zu verstehen und zu bedienen, Nutzerinteraktionen zu simulieren und detaillierte Testergebnisse bereitzustellen.

So verwendet der App-Test-Agent Ihre Daten

Der App-Test-Agent wird von Gemini in Firebase bereitgestellt und unterliegt denselben Nutzungsbedingungen. Weitere Informationen dazu, wie Gemini Ihre Daten in Firebase verwendet, finden Sie unter So verwendet Gemini in Firebase Ihre Daten.

Hinweis

Registrieren Sie Ihre App bei Firebase, falls noch nicht geschehen.

Wenn Sie keine anderen Firebase-Produkte verwenden, müssen Sie nur ein Projekt erstellen und Ihre App registrieren. Sie müssen Ihrer App keine SDKs hinzufügen. Wenn Sie jedoch in Zukunft zusätzliche Produkte verwenden möchten, müssen Sie alle Schritte unter Firebase über die Firebase Console hinzufügen ausführen.

Achtung :Wenn Sie Ihre App bei Firebase registrieren, müssen Sie denselben Paketnamen wie für die von Ihnen bereitgestellte App eingeben. Der Paketname muss groß- und kleingeschrieben werden und kann für Ihre App in Firebase nicht mehr geändert werden, nachdem sie in Ihrem Firebase-Projekt registriert wurde.

Wenn Sie bereit sind, eine Vorabversion Ihrer App an Tester zu verteilen, erstellen Sie Ihr APK oder AAB wie gewohnt und laden Sie es in der Firebase Console in die App Distribution hoch. Sie müssen das APK mit Ihrem Debug-Schlüssel oder App-Signaturschlüssel signieren.

Testlauf erstellen

Für KI-gestützte Tests verwendet der App-Test-Agent Ihre Testfälle in natürlicher Sprache, um Tests für Ihre App auszuführen.

Jeder Testfall wird in Schritte unterteilt, die nacheinander ausgeführt werden. Mithilfe von Schritten können Sie Ihren Testfall in Phasen mit jeweils eigenen Erfolgskriterien unterteilen. Der Kundenservicemitarbeiter kann während eines Schritts viele Aktionen ausführen.

Wenn Sie einen Testfall erstellen möchten, öffnen Sie die Seite App Distribution der Firebase-Konsole und führen Sie die folgenden Schritte aus:

1. Klicken Sie auf dem Tab Testfälle auf Neuer Testfall. Wenn Sie keinen eigenen Testfall erstellen möchten, können Sie den bereitgestellten Beispieltestfall ändern oder verwenden.
2. Geben Sie im Dialogfeld Testfall hinzufügen einen Namen für den Testfall ein. Dieser Wert wird verwendet, um den Test zu identifizieren, wird aber vom Kundenservicemitarbeiter ignoriert.
3. Sie können den Test in mehrere Schritte unterteilen, indem Sie auf die Schaltfläche Weitere Schritte hinzufügen klicken.
4. Geben Sie jedem Schritt ein Ziel, das beschreibt, was der App-Test-Agent in diesem Schritt tun soll.
5. Optional: Fügen Sie einen Hinweis hinzu, um dem App-Tester zusätzliche Informationen zu geben, damit er die Funktionsweise besser versteht und sich in Ihrer App zurechtfindet.
6. Optional: Fügen Sie Erfolgskriterien hinzu, damit der App-Tester-Kundenservicemitarbeiter besser nachvollziehen kann, ob der Schritt erfolgreich abgeschlossen wurde.
7. Klicken Sie auf Speichern, wenn Sie den Test fertig angepasst haben.

Beispiel für einen Testfall

Im folgenden Beispiel wird gezeigt, wie Sie mit dem App-Test-Agenten einen Testfall erstellen:

Startseite testen
Testtitel	Startseite wird geladen
Ziel	Startseite laden
Hinweis	Überspringe alle Onboarding-Bildschirme. Schließen Sie alle Pop-ups. Melden Sie sich nicht an.
Erfolgskriterien	Die Startseite der App ist auf dem Bildschirm zu sehen, alle Bilder wurden geladen und es werden keine Fehler angezeigt.

Testen

Mit dem App Testing-Agent können Sie KI-gestützte Tests in der Console ausführen. Klicken Sie dazu auf der Seite „Releases“ oder „Testfälle“ auf die Schaltfläche Tests ausführen. Daraufhin wird der Bildschirm zur Anpassung des App-Test-Agenten geöffnet. Dort können Sie einen oder mehrere Ihrer vorhandenen Testfälle auswählen, die der Agent ausführen soll. Sie können auch auswählen, mit welchen Geräten der Test durchgeführt werden soll, und ob Anmeldedaten angegeben werden sollen.

Sie können auch einen Zufalls-Crawling-Test ausführen, indem Sie den Testtyp ändern. Für zufällige Crawling-Tests wird die Funktion Automatischer Tester verwendet.

Sie können die Ergebnisse Ihrer Tests auf der Seite Releases auf dem Tab App-Test-Agent eines Releases einsehen. Wenn Sie auf die Schaltfläche Details ansehen klicken, wird das Dialogfeld „Testergebnisse“ geöffnet. Dort sehen Sie alle Probleme, Screenshots der App und die Aktionen, die Gemini während des Tests ausgeführt hat.

Hinweis :Sie können dem App-Verhalten eine Systemvariable hinzufügen, um das Verhalten der App bei der Ausführung durch den App-Test-Agenten zu ändern. Weitere Informationen finden Sie unter Tests mit Android Studio ausführen.

Builds automatisch testen

Wenn Sie App Testing-Agent-Tests automatisch auf Ihren neuen Builds ausführen möchten, z. B. aus CI/CD-Pipelines, können Sie Ihre Builds mit den Gradle- oder Fastlane-Plug-ins von App Distribution oder der Firebase CLI an den Agenten verteilen.

Builds automatisch mit der Firebase CLI testen

Sie müssen mindestens ein Testgerät und eine Testfall-ID angeben, um die Funktion „App-Testmitarbeiter“ verwenden zu können. Testfall-IDs finden Sie in der Firebase Console auf der Seite „Testfälle“. Weitere Informationen zu den ersten Schritten mit der Firebase CLI und den verschiedenen Möglichkeiten zur Konfiguration der Bereitstellung finden Sie unter Android-Apps mit der Firebase CLI an Tester verteilen.

Führen Sie den Befehl appdistribution:distribute aus, um Ihre App hochzuladen, und konfigurieren Sie die Bereitstellung mit den folgenden Parametern für die App-Test-Agent-Funktion:

appdistribution:distribute options
--test-devices oder --test-devices-file	Die Testgeräte, auf die Sie Builds über die Funktion „App Testing Agent“ verteilen möchten. Sie können die Testgeräte als durch Semikolons getrennte Liste angeben: --test-devices: "model=shiba, version=34, locale=en, orientation=portrait;model=b0q, version=33, locale=en, orientation=portrait" Alternativ können Sie den Pfad zu einer Nur-Text-Datei angeben, die eine durch Semikolons getrennte Liste von Testgeräten enthält: --test-devices-file: "/path/to/test-devices.txt"
--test-username	Der Nutzername für die automatische Anmeldung während der Tests.
--test-password oder --test-password-file	Das Passwort für die automatische Anmeldung während der Tests. Sie können auch den Pfad zu einer Nur-Text-Datei mit einem Passwort angeben: --test-password-file: "/path/to/test-password.txt"
--test-non-blocking	Tests asynchron ausführen. Die Ergebnisse des automatischen Tests finden Sie in der Firebase Console.
--test-case-ids oder --test-case-ids-file	Eine durch Kommas getrennte Liste von Testfall-IDs für die Ausführung KI-gestützter automatisierter Tests: --test-case-ids: "load-app,play-the-first-level" Sie können auch den Pfad zu einer reinen Textdatei angeben, die eine durch Kommas oder Zeilenumbrüche getrennte Liste von Testfall-IDs enthält: --test-case-ids-file: "/path/to/test-case-ids.txt"

Builds mit Gradle automatisch testen

Sie müssen mindestens ein Testgerät und eine Testfall-ID angeben, um die Funktion „App-Testmitarbeiter“ verwenden zu können. Testfall-IDs finden Sie in der Firebase Console auf der Seite „Testfälle“. Weitere Informationen zu den ersten Schritten mit Gradle und den verschiedenen Möglichkeiten zur Konfiguration der Bereitstellung finden Sie unter Android-Apps mit Gradle an Tester verteilen.

Sie können App Distribution konfigurieren, indem Sie mindestens einen Abschnitt firebaseAppDistribution hinzufügen. Mit den folgenden Parametern können Sie die Verteilung für die App-Test-Agent-Funktion konfigurieren:

App Distribution Build-Parameter
testDevices oder testDevicesFile	Die Testgeräte, auf die Sie Builds über die Funktion „App Testing Agent“ verteilen möchten. Sie können die Testgeräte als durch Semikolons getrennte Liste von Gerätespezifikationen angeben. testDevices="model=shiba, version=34, locale=en, orientation=portrait;model=b0q, version=33, locale=en, orientation=portrait" Alternativ können Sie den Pfad zu einer Datei angeben, die eine durch Semikolons getrennte Liste von Gerätespezifikationen enthält: testDevicesFile="/path/to/testDevices.txt"
testUsername	Der Nutzername für die automatische Anmeldung während der Tests.
testPassword oder testPasswordFile	Das Passwort für die automatische Anmeldung während der Tests. Sie können auch den Pfad zu einer Nur-Text-Datei mit einem Passwort angeben: testPasswordFile="/path/to/testPassword.txt"
testNonBlocking	Tests asynchron ausführen. Die automatischen Testergebnisse finden Sie in der Firebase Console.
testCasesodertestCasesFile	Eine durch Kommas getrennte Liste von Testfall-IDs für die Ausführung KI-gestützter automatisierter Tests: testCases: "load-app,play-the-first-level" Sie können auch den Pfad zu einer reinen Textdatei angeben, die eine durch Kommas oder Zeilenumbrüche getrennte Liste von Testfall-IDs enthält: testCasesFile: "/path/to/test-case-ids.txt"

Builds mit fastlane automatisch testen

Sie müssen mindestens ein Testgerät und eine Testfall-ID angeben, um die Funktion „App-Testmitarbeiter“ verwenden zu können. Testfall-IDs finden Sie in der Firebase Console auf der Seite „Testfälle“. Weitere Informationen zum Einstieg in fastlane und zu verschiedenen Möglichkeiten zur Konfiguration Ihrer Bereitstellung finden Sie unter Android-Apps mit fastlane an Tester verteilen.

Fügen Sie einer ./fastlane/Fastfile-Fahrspur einen firebase_app_distribution-Block hinzu. Verwenden Sie die folgenden Parameter, um Ihre Bereitstellung für die App-Test-Agent-Funktion zu konfigurieren:

Parameter „firebase_app_distribution“
test_devices oder test_devices_file	Die Testgeräte, auf die Sie Builds über die Funktion „App Testing Agent“ verteilen möchten. Sie können die Testgeräte als durch Semikolons getrennte Liste angeben: test_devices: "model=shiba, version=34, locale=en, orientation=portrait;model=b0q, version=33, locale=en, orientation=portrait" Alternativ können Sie den Pfad zu einer Nur-Text-Datei angeben, die eine durch Semikolons getrennte Liste von Testgeräten enthält: test_devices_file: "/path/to/test-devices.txt"
test_username	Der Nutzername für die automatische Anmeldung während der Tests.
test_password oder test_password_file	Das Passwort für die automatische Anmeldung während der Tests. Sie können auch den Pfad zu einer Nur-Text-Datei mit einem Passwort angeben: test_password_file: "/path/to/test-password.txt"
test_non_blocking	Tests asynchron ausführen. Die Ergebnisse des automatischen Tests finden Sie in der Firebase Console.
--test_case_ids oder --test_case_ids_file	Eine durch Kommas getrennte Liste von Testfall-IDs für die Ausführung KI-gestützter automatisierter Tests: --test_case_ids: "load-app,play-the-first-level" Sie können auch den Pfad zu einer reinen Textdatei angeben, die eine durch Kommas oder Zeilenumbrüche getrennte Liste von Testfall-IDs enthält: --test_case_ids_file: "/path/to/test-case-ids.txt"

Testergebnisse debuggen

Wenn die Testergebnisse nicht Ihren Erwartungen entsprechen, können Sie den Test mithilfe der Option Kundenservicemitarbeiter-Ansicht anzeigen unter Details ansehen auf der Seite „Testergebnisse“ debuggen. In der Kundenservicemitarbeiteransicht sehen Sie die Bildschirmelemente, die der Kundenservicemitarbeiter mithilfe der Informationen zur Barrierefreiheit der App erkennen konnte. Wenn Sie sich genauer ansehen möchten, was der Kundenservicemitarbeiter gesehen hat, können Sie diese Informationen über das Dreipunkt-Menü herunterladen.

Über die Schaltfläche Artefakte ansehen auf der Seite „Testergebnisse“ können Sie sich alle Videos, Protokolle und anderen Cloud-Artefakte für Ihre Testergebnisse ansehen.

Bekannte Probleme und Beschränkungen

Die Vorabversion des App-Test-Agenten weist einige bekannte Einschränkungen auf:

• Da der App-Test-Agent Ihre App mithilfe generativer KI testet, führt er manchmal andere Aktionen aus, auch wenn er derselben Anleitung folgt.
• Der App-Test-Agent unterstützt nur die folgenden Aktionen: Tippen, Text eingeben, nach oben und unten scrollen und warten.
• Der App-Test-Agent hat Probleme beim Ausführen von Tests, die nur einen einzelnen Schritt enthalten, der viele Aktionen erfordert. Die Leistung ist besser, wenn komplexe Aufgaben in mehrere kürzere Schritte unterteilt werden.
• Der App-Test-Agent scrollt manchmal nicht, um andere Elemente außerhalb des Bildschirms sichtbar zu machen. Das passiert häufiger, wenn es keine visuellen Hinweise auf die Scrollbarkeit gibt. Als Behelfslösung kann das Feld „hints“ verwendet werden, um das Scrollen vorzuschlagen.
• Der App-Test-Agent hat manchmal Probleme beim Zählen, z. B. bei der Ausführung einer Aktion eine bestimmte Anzahl von Malen.

Kontingente für Tests

Während der Vorabversion werden die KI-gestützten Tests innerhalb eines Kontingentlimits kostenlos angeboten. Das Standardkontingent beträgt 100 Tests pro Monat.

Wenn Sie mehrere Testfälle oder denselben Testfall auf mehreren Geräten ausführen, wird dies als mehrere Tests gezählt. Wenn Sie beispielsweise zwei Tests auf zwei Geräten ausführen, werden insgesamt vier Tests gezählt.

Wenn Sie Ihr Kontingent über das Standardlimit hinaus erhöhen möchten, wenden Sie sich mit Ihrem Anwendungsfall an den Firebase-Support.