Google 致力于为黑人社区推动种族平等。查看具体举措
Diese Seite wurde von der Cloud Translation API übersetzt.
Switch to English

Analysieren Sie die Ergebnisse des Firebase-Testlabors

Es gibt mehrere Möglichkeiten, Firebase Test Lab zum Ausführen von Tests auf Ihrer Android-App zu verwenden, einschließlich der Befehlszeilenschnittstelle , Android Studio , der Test Lab-Benutzeroberfläche in der Firebase-Konsole und der Test-API . Unabhängig davon, wie Sie Ihre Tests starten, werden die Ergebnisse in dem von Ihnen angegebenen Firebase-Projekt gespeichert. Sie können die Ergebnisse zusätzlich zu den oben genannten Tools mithilfe der ToolResults-API untersuchen . Auf dieser Seite wird beschrieben, wie Sie diese Testergebnisse überprüfen und analysieren.

Schlüssel Konzepte

Um die Ergebnisse aller vorherigen Testläufe anzuzeigen, wählen Sie im linken Navigationsbereich Ihres Projekts in der Firebase-Konsole Test Lab aus. Auf dieser Seite werden alle Testläufe der Apps angezeigt, die Sie mit Ihrem Projekt mithilfe von Test Lab getestet haben.

Um die Testergebnisse zu überprüfen, müssen Sie zunächst drei Konzepte verstehen:

Wenn Sie einen Test oder eine Reihe von Testfällen für von Ihnen ausgewählte Geräte und Konfigurationen ausführen, führt Test Lab den Test für Ihre App in einem Stapel aus und zeigt die Ergebnisse dann als Testmatrix an .

Geräte × Testausführungen = Testmatrix

Gerät
Ein physisches oder virtuelles Gerät (nur Android), auf dem Sie einen Test ausführen, z. B. ein Telefon, ein Tablet oder ein tragbares Gerät. Geräte in einer Testmatrix werden anhand des Gerätemodells, der Betriebssystemversion, der Bildschirmausrichtung und des Gebietsschemas (auch als Geografie- und Spracheinstellungen bezeichnet) identifiziert.
Test, Testausführung
Ein Test (oder eine Reihe von Testfällen), der auf einem Gerät ausgeführt werden soll. Sie können einen Test pro Gerät ausführen oder optional den Test shard und seine Testfälle auf verschiedenen Geräten ausführen.
Testmatrix
Enthält die Status und Testergebnisse für Ihre Testausführungen. Wenn eine Testausführung in einer Matrix fehlschlägt, schlägt die gesamte Matrix fehl.

In den folgenden Abschnitten wird erläutert, wie Sie durch die Testergebnisse navigieren.

Interpretieren Sie die Testergebnisse

Wenn Sie durch Auswahl von Test Lab zu Ihren Testergebnissen navigieren, werden die Ergebnisse der bisher durchgeführten Tests angezeigt.

Der Testverlauf ist nach Apps gruppiert. Für jede App werden nur die letzten fünf Testmatrizen angezeigt. Wenn weitere verfügbar sind, können Sie unten in der App- Testliste auf den Link Alle Matrizen klicken, um die vollständige Liste für diese App anzuzeigen.

Interpretieren Sie die Ergebnisse der Testmatrix

Wenn Sie einen Test über die Test Lab-Benutzeroberfläche starten, werden Sie zu einer Seite weitergeleitet, auf der Sie Ihre Testmatrix sehen und auf eine bestimmte Testausführung klicken können, um die Testergebnisse anzuzeigen. Android Studio und der Befehl gcloud stellen auch eine URL für die Ergebnisseite der Testmatrix bereit.

In einer typischen Testmatrix können Sie einen Test auf etwa einem Dutzend verschiedener Geräte ausführen. Jede Testausführung kann ein anderes Ergebnis haben. Die möglichen Ergebnisse für jede Testausführung in einer Testmatrix umfassen Folgendes:

  • BestandenTest bestanden : Es wurden keine Fehler festgestellt.
  • GescheitertIm Test durchgefallen : Es ist mindestens ein Fehler aufgetreten.
  • Nicht schlüssigTest bestanden : Die Testergebnisse waren möglicherweise aufgrund eines Test Lab-Fehlers nicht schlüssig.
  • ÜbersprungenTest bestanden : Die ausgewählten Dimensionswerte für einige Testausführungen in der Matrix waren nicht kompatibel. Dies tritt auf, wenn von Ihnen ausgewählte Geräte nicht mit einer oder mehreren der von Ihnen ausgewählten Android-API-Ebenen kompatibel sind.

Klicken Sie auf den Namen der App, um die aggregierten Testergebnisse für alle Testmatrizen für eine bestimmte App in Ihrem Firebase-Projekt zu überprüfen. Dies wird im folgenden Beispiel gezeigt:

Beispiel für eine Ergebnisseite mit Testmatrix mit nur vier TestausführungenErgebnisse der Testmatrix

Hiermit gelangen Sie zur Testmatrixliste für Ihre App, in der Sie auf den Namen einer Testmatrix klicken können, um die Ergebnisse der Testmatrix anzuzeigen, und in der Sie auf den Namen der App klicken können (siehe rotes Feld unten), um die anzuzeigen Testmatrixliste für andere Apps, die Ihrem Firebase-Projekt zugeordnet sind.

Beispiel für eine Testmatrix-ListenseiteTestmatrix-Liste

Eine Testmatrix kann bestehen, fehlschlagen oder nicht schlüssig sein. Eine Testmatrix wird als fehlgeschlagen oder nicht schlüssig angezeigt, wenn Testausführungen in dieser Matrix fehlschlagen oder nicht schlüssig sind.

Interpretieren Sie die Robo-Testergebnisse

Wenn Sie Ihre Tests mit Robo durchgeführt haben, enthalten Ihre Ergebnisse neben den üblichen Testmetriken auch Videos und Screenshots von Robo, die Ihre Benutzeroberfläche crawlen. Diese Videos und Screenshots enthalten visuelle Hinweise auf die Aktionen, die Robo während des Crawls ausgeführt hat, ähnlich der Funktion "Berührungen anzeigen" in Android. Sie können die Anzeigen verwenden, um Robos Fortschritt zu verfolgen und eventuell aufgedeckte Fehler zu reproduzieren.

Beispiel Robo Testergebnisse Video

Robo-Testergebnisse

Interpretieren Sie die Ergebnisse einer einzelnen Testausführung

Klicken Sie auf der Ergebnisseite der Testmatrix auf eine der Testausführungen, um das Ergebnis dieser bestimmten Testausführung anzuzeigen.

Beispielseite für die Ergebnisse der Testausführung Ergebnisse der Testausführung

Auf dieser Seite sehen Sie die Zeit, die für jede Testausführung benötigt wird. Sie können auch die Ergebnisse für bestimmte Testfälle anzeigen, die den Methoden in Ihrer Test-APK (für Instrumentierungstests) entsprechen, sowie detaillierte Testergebnisse, einschließlich Testprotokollen, Screenshots und Videos. Für den Robo-Test enthalten detaillierte Testergebnisse auch eine Aktivitätskarte, die grafisch die UI-Pfade zeigt, die vom Robo-Test besucht wurden.

Testergebnisse für partitionierte Instrumente

Um Ihnen bei der Interpretation instrumentierter Testergebnisse zu helfen, unterteilt Test Lab jeden Test in eine eigene detaillierte Berichtsseite mit Stapelspuren, Protokollen und Videos. Diese Funktion funktioniert unabhängig davon, ob Sie Android Orchestrator verwenden oder nicht.

Beispiel für eine Testfall-Ergebnisseite Testergebnisse

Interpretieren Sie die Ergebnisse der Barrierefreiheit

Robo-Tests verwenden den Android Accessibility Scanner, um Probleme mit der Barrierefreiheit in Ihrer App zu erkennen (beachten Sie, dass Sie einen Scan auch lokal auf Ihrem Gerät ausführen können). Anweisungen zum Überprüfen und Interpretieren der Barrierefreiheitsergebnisse Ihres Robo-Tests finden Sie unter Erste Schritte mit dem Barrierefreiheitsscanner .

Allgemeine Informationen zur Verbesserung der Barrierefreiheit Ihrer App finden Sie in der Dokumentation zur Barrierefreiheit für Android-Entwickler .

Leistungsmetriken

Tests, die auf physischen Geräten ausgeführt werden, geben auch Leistungsmetriken zurück:

Metrisch Erforderliche Gerätekonfiguration
Startzeit der App API 19+
CPU auslastung API 21+
Speichernutzung
Netzwerkaktivität
Bilder pro Sekunde API 21+ und enthält eine SurfaceView
Grafikleistung API 23+

Details zur Grafikleistung

Der Grafikleistungsbericht enthält Statistiken zu mehreren wichtigen Grafikmetriken:

  • Missed Vsync: Die Anzahl der fehlenden Vsync-Ereignisse, geteilt durch die Anzahl der Frames, deren Rendern länger als 16 ms dauerte.
  • Hohe Eingangslatenz: Die Anzahl der Eingabeereignisse, die länger als 24 ms gedauert haben, geteilt durch die Anzahl der Frames, deren Rendern länger als 16 ms gedauert hat.
  • Langsamer UI-Thread: Die Häufigkeit, mit der der UI-Thread mehr als 8 ms dauerte, geteilt durch die Anzahl der Frames, deren Rendern länger als 16 ms dauerte.
  • Langsame Zeichenbefehle: Die Häufigkeit, mit der Zeichenbefehle an die GPU gesendet wurden, dauerte mehr als 12 ms, geteilt durch die Anzahl der Frames, deren Rendern länger als 16 ms dauerte.
  • Langsames Hochladen von Bitmaps: Die Häufigkeit, mit der das Hochladen der Bitmap auf die GPU länger als 3,2 ms dauerte, geteilt durch die Anzahl der Frames, deren Rendern länger als 16 ms dauerte.
  • Renderzeit: Die Verteilung der Renderzeiten für jeden Frame des Testlaufs. Renderzeiten von mehr als 32 Millisekunden führen zu einer spürbaren Verlangsamung Ihrer Benutzeroberfläche. Renderzeiten von 700+ zeigen eingefrorene Frames an. dumpsys graphicsstats aus dumpsys graphicsstats gesammelt.

Detaillierte Testergebnisse

Detaillierte Testergebnisse sind 90 Tage lang verfügbar, nachdem Sie einen Test ausgeführt haben. Sie werden in einem Google Cloud Storage-Bucket gespeichert (sind jedoch auch in der Firebase-Konsole sichtbar). Sie können in der Cloud Storage - Bucket detaillierten Testergebnisse anzeigen , wenn Sie View Source - Dateien auf dem Testausführungsergebnisse Seite klicken. Wenn keine detaillierten Testergebnisse mehr verfügbar sind, können Sie weiterhin sehen, welche Tests bestanden oder nicht bestanden wurden.

Um detaillierte Testergebnisse länger als 90 Tage aufzubewahren, müssen Sie diese Testergebnisse mit der Befehlszeilenoption --results-Bucket gcloud an einen Cloud Storage-Bucket senden, den Sie besitzen. Anschließend können Sie die Einstellung Alter festlegen, um zu bestimmen, wie lange Ergebnisse in Ihrem Cloud-Speicher-Bucket gespeichert werden. Siehe Lifecycle Bedingungen für Informationen , wie die Alten Einstellung zu ändern.