欢迎参加我们将于 2022 年 10 月 18 日举办的 Firebase 峰会(线上线下同时进行),了解 Firebase 如何帮助您加快应用开发速度、满怀信心地发布应用并在之后需要时轻松地扩大应用规模。立即报名

Analizza i risultati del laboratorio di test Firebase

Esistono diversi modi per utilizzare Firebase Test Lab per eseguire test sull'app Android, tra cui l'interfaccia della riga di comando , Android Studio , l' interfaccia utente di Test Lab nella console Firebase e l' API di test . In qualunque modo tu scelga di iniziare i test, i risultati vengono archiviati nel progetto Firebase specificato. Puoi esplorare i risultati utilizzando l'API ToolResults oltre a uno qualsiasi degli strumenti precedenti. Questa pagina descrive come rivedere e analizzare i risultati di questi test.

Concetti chiave

Per vedere i risultati di tutte le precedenti esecuzioni di test, seleziona Test Lab nel pannello di navigazione a sinistra del tuo progetto nella console Firebase. Questa pagina mostra tutti i test eseguiti dalle app che hai testato con il tuo progetto utilizzando Test Lab.

Per rivedere i risultati del test, devi prima comprendere tre concetti:

Quando esegui un test o un set di test case sui dispositivi e le configurazioni che hai selezionato, Test Lab esegue il test sull'app in batch, quindi visualizza i risultati come matrice di test .

Dispositivi × Esecuzioni di test = Matrice di test

Dispositivo
Un dispositivo fisico o virtuale (solo Android) su cui esegui un test, ad esempio un telefono, un tablet o un dispositivo indossabile. I dispositivi in ​​una matrice di test sono identificati dal modello del dispositivo, dalla versione del sistema operativo, dall'orientamento dello schermo e dalle impostazioni locali (note anche come impostazioni geografiche e della lingua).
Test, esecuzione di test
Un test (o una serie di casi di test) da eseguire su un dispositivo. Puoi eseguire un test per dispositivo o, facoltativamente, dividere il test ed eseguire i suoi casi di test su dispositivi diversi.
Matrice di prova
Contiene gli stati e i risultati dei test per le esecuzioni dei test. Se l'esecuzione di un test in una matrice fallisce, l'intera matrice fallisce.

Le sezioni seguenti spiegano come navigare tra i risultati dei test.

Interpretare i risultati della cronologia dei test

Quando accedi ai risultati dei test selezionando Test Lab , vengono visualizzati i risultati dei test eseguiti fino a quel momento.

La cronologia dei test è raggruppata per app. Per ciascuna app vengono visualizzate solo le cinque matrici di test più recenti; se ne sono disponibili altri, puoi fare clic sul collegamento Tutte le matrici nella parte inferiore dell'elenco di test dell'app per visualizzare l'elenco completo per quell'app.

Interpretare i risultati della matrice del test

Quando si avvia un test tramite l' interfaccia utente di Test Lab , si viene reindirizzati a una pagina in cui è possibile visualizzare la matrice del test e fare clic su un'esecuzione di test specifica per visualizzare i risultati del test. Android Studio e il comando gcloud forniscono anche un URL per la pagina dei risultati della matrice di test.

In una tipica matrice di test, potresti eseguire un test su una dozzina di dispositivi diversi. Ogni esecuzione del test può avere un risultato diverso. I possibili risultati per qualsiasi esecuzione di test in una matrice di test includono quanto segue:

  • PassatoTest superato : non si sono verificati errori.
  • fallitoTest fallito : Si è verificato almeno un errore.
  • InconcludenteTest superato : I risultati del test non sono stati conclusivi, probabilmente a causa di un errore di Test Lab.
  • saltatoTest superato : i valori delle dimensioni selezionati per alcune esecuzioni di test nella matrice erano incompatibili. Ciò si verifica quando i dispositivi selezionati non sono compatibili con uno o più livelli API Android selezionati.

Per rivedere i risultati dei test aggregati per tutte le matrici di test per una determinata app nel tuo progetto Firebase, fai clic sul nome dell'app, come mostrato nell'esempio seguente:

Esempio di pagina dei risultati della matrice di test con solo quattro esecuzioni di test Risultati della matrice del test

Questo ti porta all'elenco delle matrici di test per la tua app, dove puoi fare clic sul nome di qualsiasi matrice di test per vedere i risultati della matrice di test e dove puoi fare clic sul nome dell'app (mostrato nella casella rossa sotto) per visualizzare elenco di matrici di test per altre app associate al tuo progetto Firebase.

Esempio di pagina di elenco delle matrici di test Elenco delle matrici di prova

Una matrice di test può passare, fallire o essere inconcludente. Una matrice di test viene mostrata come non riuscita o non conclusiva se le esecuzioni di test in quella matrice falliscono o non sono conclusive.

Interpreta i risultati del test Robo

Se hai eseguito i test con Robo, i risultati includono video e screenshot di Robo che esegue la scansione dell'interfaccia utente, oltre alle consuete metriche di test. Questi video e screenshot includono indicazioni visive delle azioni eseguite da Robo durante la scansione, in modo simile alla funzione "Mostra tocchi" in Android. Puoi utilizzare le indicazioni per aiutarti a seguire i progressi di Robo e riprodurre eventuali bug che potrebbe scoprire.

Esempio di video dei risultati del test Robo

Risultati del test robotico

Interpretare i risultati di una singola esecuzione del test

Dalla pagina dei risultati della matrice del test, fare clic su una delle esecuzioni del test per vedere il risultato di quella specifica esecuzione del test.

Esempio di pagina dei risultati dell'esecuzione del test Risultati dell'esecuzione del test

In questa pagina puoi vedere il tempo necessario per ogni esecuzione del test. Puoi anche visualizzare i risultati per casi di test specifici che corrispondono ai metodi nell'APK di test (per i test di strumentazione) e risultati dettagliati dei test, inclusi registri dei test, schermate e video. Per Robo test , i risultati dettagliati del test includono anche una mappa delle attività che mostra graficamente i percorsi dell'interfaccia utente che sono stati visitati da Robo test.

Risultati del test della strumentazione partizionata

Per aiutarti a interpretare i risultati dei test strumentati, Test Lab separa ogni test nella propria pagina di report dettagliata, completa di tracce dello stack, registri e video. Questa funzione funziona indipendentemente dal fatto che utilizzi o meno Android Orchestrator.

Esempio di pagina dei risultati del testcaseRisultati del banco di prova

Interpretare i risultati di accessibilità

I test Robo utilizzano Android Accessibility Scanner per rilevare problemi di accessibilità nella tua app (tieni presente che puoi anche eseguire una scansione localmente sul tuo dispositivo). Per istruzioni su come rivedere e interpretare i risultati di accessibilità del tuo test Robo, visita Iniziare con Accessibility Scanner .

Per informazioni generali su come migliorare l'accessibilità della tua app, visita la documentazione sull'accessibilità degli sviluppatori Android .

Metriche delle prestazioni

I test eseguiti su dispositivi fisici restituiscono anche parametri delle prestazioni:

metrico Configurazione del dispositivo richiesta
Tempo di avvio dell'app API 19+
uso della CPU API 21+
Utilizzo della memoria
Attività di rete
Fotogrammi al secondo API 21+ e include SurfaceView
Prestazioni grafiche API 23+

Dettagli sulle prestazioni grafiche

Il rapporto sulle prestazioni grafiche contiene statistiche su diverse metriche grafiche chiave:

  • Missed Vsync: il numero di eventi Vsync persi, diviso per il numero di fotogrammi il cui rendering ha richiesto più di 16 ms.
  • Latenza di input elevata: il numero di eventi di input che hanno richiesto più di 24 ms, diviso per il numero di fotogrammi che hanno richiesto più di 16 ms per il rendering.
  • Thread lento dell'interfaccia utente: il numero di volte in cui il thread dell'interfaccia utente ha impiegato più di 8 ms per essere completato, diviso per il numero di fotogrammi il cui rendering ha richiesto più di 16 ms.
  • Comandi di estrazione lenta: il numero di volte in cui l'invio di comandi di estrazione alla GPU ha richiesto più di 12 ms, diviso per il numero di fotogrammi che hanno richiesto più di 16 ms per il rendering.
  • Caricamenti di bitmap lenti: il numero di volte in cui la bitmap ha impiegato più di 3,2 ms per essere caricata sulla GPU diviso per il numero di fotogrammi il cui rendering ha richiesto più di 16 ms.
  • Tempo di rendering: la distribuzione dei tempi di rendering per ogni fotogramma dell'esecuzione del test. Tempi di rendering superiori a 32 millisecondi causano un sensibile rallentamento dell'interfaccia utente. I tempi di rendering di oltre 700 indicano fotogrammi bloccati. I dati di rendering vengono raccolti da dumpsys graphicsstats .

Risultati dettagliati del test

I risultati dettagliati del test sono disponibili per 90 giorni dopo l'esecuzione del test e vengono archiviati in un bucket di Google Cloud Storage (ma sono visibili anche nella console Firebase). Puoi visualizzare i risultati dettagliati del test nel bucket Cloud Storage quando fai clic su Visualizza file di origine nella pagina dei risultati dell'esecuzione del test. Quando i risultati dettagliati dei test non sono più disponibili, puoi comunque vedere quali test hanno superato o meno.

Per conservare i risultati dettagliati dei test per più di 90 giorni, devi inviare questi risultati a un bucket di Cloud Storage di tua proprietà utilizzando l' opzione della riga di comando --results-bucket gcloud . Puoi quindi impostare l'impostazione Età per determinare per quanto tempo i risultati vengono archiviati nel bucket di Cloud Storage. Consulta Condizioni del ciclo di vita per informazioni su come modificare l'impostazione Età .