Es gibt mehrere Möglichkeiten, mit Firebase Test Lab Tests für Ihre Android-App auszuführen, darunter die Befehlszeile, Android Studio, die Test Lab-Benutzeroberfläche in der Firebase-Konsole und die Testing API. Unabhängig davon, wie Sie Ihre Tests starten, werden die Ergebnisse im von Ihnen angegebenen Firebase-Projekt gespeichert. Sie können die Ergebnisse zusätzlich zu den oben genannten Tools mit der ToolResults API analysieren. Auf dieser Seite wird beschrieben, wie Sie diese Testergebnisse prüfen und analysieren.
Wichtige Konzepte
Wenn Sie die Ergebnisse aller vorherigen Tests sehen möchten, wählen Sie in der Firebase-Konsole im linken Navigationsbereich Ihres Projekts Test Lab aus. Auf dieser Seite werden alle Testläufe der Apps angezeigt, die Sie mit Ihrem Projekt und Test Lab getestet haben.
Bevor Sie sich die Testergebnisse ansehen, müssen Sie drei Konzepte verstehen:
Wenn Sie einen Test oder eine Reihe von Testfällen auf ausgewählten Geräten und Konfigurationen ausführen, führt Test Lab den Test in einem Batch auf Ihrer App aus und zeigt die Ergebnisse dann als Testmatrix an.
Geräte × Testausführungen = Testmatrix
- Gerät
- Ein physisches oder virtuelles Gerät (nur Android), auf dem Sie einen Test ausführen, z. B. ein Smartphone, Tablet oder Wearable. Geräte in einer Testmatrix werden anhand von Gerätemodell, Betriebssystemversion, Bildschirmausrichtung und Gebietsschema (auch als Geografie- und Spracheinstellungen bezeichnet) identifiziert.
- Test, Testausführung
- Ein Test (oder eine Reihe von Testfällen), der auf einem Gerät ausgeführt wird. Sie können einen Test pro Gerät ausführen oder den Test optional in Shards aufteilen und die Testfälle auf verschiedenen Geräten ausführen.
- Testmatrix
- Enthält die Status und Testergebnisse Ihrer Testausführungen. Wenn eine Testausführung in einer Matrix fehlschlägt, schlägt die gesamte Matrix fehl.
In den folgenden Abschnitten wird erläutert, wie Sie Testergebnisse aufrufen.
Testverlaufsergebnisse auswerten
Wenn Sie die Testergebnisse aufrufen, indem Sie Test Lab auswählen, sehen Sie die Ergebnisse der bisher durchgeführten Tests.
Der Testverlauf ist nach App gruppiert. Für jede App werden nur die fünf neuesten Testmatrizen angezeigt. Wenn mehr verfügbar sind, können Sie unten in der Liste der App-Tests auf den Link Alle Matrizen klicken, um die vollständige Liste für diese App aufzurufen.
Testmatrixergebnisse auswerten
Wenn Sie einen Test über die Test Lab-Benutzeroberfläche starten, werden Sie zu einer Seite weitergeleitet, auf der Sie Ihre Testmatrix sehen. Klicken Sie auf eine bestimmte Testausführung, um die Testergebnisse aufzurufen. Android Studio und der Befehl „gcloud“ enthalten ebenfalls eine URL für die Ergebnisseite der Testmatrix.
In einer typischen Testmatrix können Sie einen Test auf etwa einem Dutzend verschiedener Geräte ausführen. Jede Testausführung kann ein anderes Ergebnis haben. Die möglichen Ergebnisse einer Testausführung in einer Testmatrix sind:
- Bestanden
: Es wurden keine Fehler festgestellt. - Fehlgeschlagen
: Mindestens ein Fehler ist aufgetreten. - Nicht aussagekräftig
: Die Testergebnisse waren nicht aussagekräftig, möglicherweise aufgrund eines Test Lab-Fehlers. - Übersprungen
: Die ausgewählten Dimensionswerte für einige Testausführungen in der Matrix waren nicht kompatibel. Das ist der Fall, wenn die von Ihnen ausgewählten Geräte mit mindestens einer der ausgewählten Android-API-Ebenen nicht kompatibel sind.
Wenn Sie die zusammengefassten Testergebnisse für alle Testmatrizen für eine bestimmte App in Ihrem Firebase-Projekt aufrufen möchten, klicken Sie auf den Namen der App, wie im folgenden Beispiel gezeigt:
Beispiel für eine Testmatrix-Ergebnisseite mit nur vier Testausführungen
Daraufhin wird die Liste der Testmatrizen für Ihre App angezeigt. Sie können auf den Namen einer Testmatrix klicken, um die Ergebnisse der Testmatrix aufzurufen. Sie können auch auf den Namen der App (im roten Feld unten) klicken, um die Liste der Testmatrizen für andere Apps aufzurufen, die mit Ihrem Firebase-Projekt verknüpft sind.
Beispiel für eine Testmatrix-Listenseite
Eine Testmatrix kann bestanden, fehlgeschlagen oder nicht eindeutig sein. Eine Testmatrix wird als fehlgeschlagen oder nicht eindeutig angezeigt, wenn eine oder mehrere Testausführungen in dieser Matrix fehlschlagen oder nicht eindeutig sind.
Robo-Testergebnisse auswerten
Wenn Sie Ihre Tests mit Robo durchgeführt haben, enthalten Ihre Ergebnisse neben den üblichen Testmesswerten auch Videos und Screenshots, in denen Robo Ihre Benutzeroberfläche crawlt. Diese Videos und Screenshots enthalten visuelle Hinweise auf die Aktionen, die Robo während des Crawlings ausgeführt hat, ähnlich wie bei der Funktion „Tippen anzeigen“ unter Android. Anhand der Hinweise können Sie den Fortschritt von Robo verfolgen und eventuelle Fehler reproduzieren.
Beispielvideo für Robo-Testergebnisse
Ergebnisse einer einzelnen Testausführung auswerten
Klicken Sie auf der Seite mit den Testmatrixergebnissen auf eine der Testausführungen, um das Ergebnis dieser bestimmten Testausführung aufzurufen.
Beispiel für eine Seite mit Testausführungsergebnissen
Auf dieser Seite sehen Sie, wie lange die Ausführung der einzelnen Tests gedauert hat. Sie können sich auch die Ergebnisse für bestimmte Testfälle ansehen, die Methoden in Ihrem Test-APK entsprechen (für Instrumentierungstests), sowie detaillierte Testergebnisse, einschließlich Testprotokollen, Screenshots und Videos. Bei Robo-Tests enthalten die detaillierten Testergebnisse auch eine Aktivitätskarte, auf der die UI-Pfade grafisch dargestellt sind, die vom Robo-Test besucht wurden.
Partitionierte Testergebnisse der Instrumentierung
Damit Sie die Ergebnisse der instrumentierten Tests besser interpretieren können, werden in Test Lab für jeden Test eine eigene detaillierte Berichtsseite mit Stacktraces, Protokollen und Videos erstellt. Diese Funktion funktioniert unabhängig davon, ob Sie Android Orchestrator verwenden.
Beispiel für eine Seite mit Testlaufergebnissen
Ergebnisse für Barrierefreiheit interpretieren
Bei Robo-Tests werden mit dem Android Accessibility Scanner Probleme mit der Barrierefreiheit in Ihrer App erkannt. Sie können den Scan auch lokal auf Ihrem Gerät ausführen. Eine Anleitung zum Prüfen und Interpretieren der Ergebnisse des Robo-Tests finden Sie unter Einführung in den Accessibility Scanner.
Allgemeine Informationen zum Optimieren der Bedienungshilfen Ihrer App finden Sie in der Dokumentation zu Bedienungshilfen für Android-Entwickler.
Leistungsmesswerte
Bei Tests auf physischen Geräten werden auch Leistungsmesswerte zurückgegeben:
| Messwert | Erforderliche Gerätekonfiguration |
|---|---|
| App-Startzeit | API 19+ |
| CPU-Nutzung | API 21+ |
| Arbeitsspeichernutzung | |
| Netzwerkaktivität | |
| Bilder pro Sekunde | API 21 oder höher und enthält eine SurfaceView |
Detaillierte Testergebnisse
Detaillierte Testergebnisse sind nach einem Test 90 Tage lang verfügbar und werden in einem Google Cloud Storage-Bucket gespeichert. Sie sind aber auch in der Firebase-Console zu sehen. Detaillierte Testergebnisse finden Sie im Bucket Cloud Storage. Klicken Sie dazu auf der Seite mit den Testergebnissen auf Testergebnisse. Wenn keine detaillierten Testergebnisse mehr verfügbar sind, sehen Sie trotzdem, welche Tests bestanden oder fehlgeschlagen sind.
Wenn Sie detaillierte Testergebnisse länger als 90 Tage aufbewahren möchten, müssen Sie diese Testergebnisse mit der gcloud-Befehlszeilenoption --results-bucket an einen Cloud Storage-Bucket senden, dessen Inhaber Sie sind. Mit der Einstellung Alter können Sie festlegen, wie lange Ergebnisse in Ihrem Cloud Storage-Bucket gespeichert werden. Informationen zum Ändern der Einstellung Alter finden Sie unter Lebenszyklusereignisse.