Esistono diversi modi per utilizzare Firebase Test Lab per eseguire test sulla tua app per Android, tra cui l'interfaccia a riga di comando, Android Studio, l'interfaccia utente di Test Lab nella console Firebase e l'API di test. Indipendentemente da come scegli di iniziare i test, i risultati saranno archiviati nel progetto Firebase da te specificato. Puoi esplorare i risultati utilizzando API ToolResults in aggiunta agli strumenti descritti sopra. In questa pagina viene descritto come per rivedere e analizzare i risultati dei test.
Concetti fondamentali
Per visualizzare i risultati di tutte le esecuzioni di test precedenti, seleziona Test Lab nella nel pannello di navigazione a sinistra del tuo progetto Console Firebase. Questa pagina mostra tutte le esecuzioni di test app che hai testato con il tuo progetto utilizzando Test Lab.
Per esaminare i risultati del test, devi prima conoscere tre concetti:
Quando esegui un test o un insieme di casi di test su dispositivi e configurazioni selezionati, Test Lab esegue il test sulla tua app in batch, quindi mostra i risultati sotto forma di matrice di test.
Dispositivi × esecuzioni del test = matrice di test
- Dispositivo
- Un dispositivo fisico o virtuale (solo Android) su cui esegui un test, ad esempio un smartphone, tablet o dispositivo indossabile. I dispositivi in una matrice di test sono identificati da modello di dispositivo, versione del sistema operativo, orientamento dello schermo e impostazioni internazionali (note anche come impostazioni geografiche e di lingua).
- Test, esecuzione del test
- Un test (o una serie di scenari di test) da eseguire su un dispositivo. Puoi eseguire un solo test per dispositivo o, facoltativamente, eseguire lo sharding del test su dispositivi diversi.
- Matrice di test
- Contiene gli stati e i risultati dei test relativi alle esecuzioni dei test. Se presente l'esecuzione del test in una matrice fallisce, l'intera matrice fallisce.
Le sezioni seguenti spiegano come esplorare i risultati del test.
Interpretare i risultati della cronologia dei test
Quando accedi ai risultati del test selezionando Test Lab, vedrai i risultati dei test che hai eseguito finora.
La cronologia dei test viene raggruppata per app. Solo le cinque matrici di test più recenti mostrato per ogni app. Se ne sono disponibili altre, puoi fare clic sul menu a discesa Tutte le matrici nella parte inferiore dell'elenco di test delle app per visualizzare l'elenco completo dell'app.
Interpreta i risultati della matrice di test
Quando avvii un test tramite l'UI di Test Lab, viene reindirizzato a una pagina in cui puoi vedere la matrice di test e fare clic su una esecuzione del test per visualizzarne i risultati. Android Studio e il comando gcloud fornisce un URL per la matrice di test pagina dei risultati di ricerca.
In una tipica matrice di test, si potrebbe eseguire un test su una dozzina di dispositivi mobili. Ogni esecuzione del test può avere un esito diverso. I possibili risultati per qualsiasi esecuzione di test in una matrice di test includono quanto segue:
- Superato
: non si sono verificati errori. 
non riuscito: è stato effettuato almeno un errore
riscontrati.
indeterminato: i risultati del test sono stati
inconcludente, probabilmente a causa di un errore Test Lab.- Saltato
: i valori delle dimensioni selezionate per alcune esecuzioni del test nella matrice non erano compatibili. Ciò si verifica quando
I dispositivi selezionati non sono compatibili con una o più API Android
ai livelli che hai selezionato.
Per esaminare i risultati aggregati dei test per tutte le matrici di test di una determinata app nel tuo Progetto Firebase, fai clic sul nome dell'app, come mostrato nell'esempio seguente:
Pagina dei risultati della matrice di test di esempio con solo quattro esecuzioni del test
Viene visualizzato l'elenco delle matrici di test per la tua app, dove puoi fare clic sul il nome di qualsiasi matrice di test per visualizzarne i risultati e dove puoi fare clic Il nome dell'app (indicato nella casella rossa sottostante) per visualizzare l'elenco delle matrici di test per altre app associate al tuo progetto Firebase.
Esempio di pagina di elenco delle matrici di test
Una matrice di test può avere esito positivo, negativo o essere inconcludente. Viene mostrata una matrice di test come non riuscite o inconcludenti se eventuali esecuzioni di test in quella matrice non vanno a buon fine o sono inconcludente.
Interpretare i risultati del test Robo
Se hai eseguito i test con Robo, i risultati includono video e screenshot di Robo che esegue la scansione dell'interfaccia utente, oltre alle consuete metriche di test. Questi video e screenshot includono indicazioni visive delle azioni intraprese da Robo durante la scansione, simili alla funzionalità "Mostra tocchi" in Android. Puoi utilizzare le indicazioni per ti aiuteranno a seguire i progressi di Robo e a riprodurre gli eventuali bug scoprirlo.
Esempio di video con i risultati del test di Robo
Interpretare i risultati di una singola esecuzione di test
Dalla pagina dei risultati della matrice di test, fai clic su una delle esecuzioni del test per vedere il risultato dell'esecuzione del test in questione.
Pagina dei risultati di esecuzione del test di esempio
In questa pagina puoi vedere il tempo necessario per l'esecuzione di ogni test. Puoi anche visualizzare i risultati di casi di test specifici che corrispondono ai metodi nell'APK di test (per i test di strumentazione) e i risultati dei test dettagliati, inclusi log, screenshot e video dei test. Per Test Robo, test dettagliato i risultati includono anche una mappa attività che mostra graficamente i percorsi dell'interfaccia utente sono stati visitati dal test Robo.
Risultati del test di strumentazione partizionata
Per aiutarti a interpretare i risultati dei test con strumentazione, Test Lab separa ogni test nella relativa pagina dettagliata del report, completa di analisi dello stack, log e video. Questa funzionalità funziona indipendentemente dall'utilizzo o meno di Android Orchestrator.
Esempio di pagina dei risultati dello scenario di test
Interpretare i risultati relativi all'accessibilità
I robot test utilizzano Android Accessibility Scanner per rilevare i problemi di accessibilità nella tua app (tieni presente che puoi anche eseguire una scansione localmente sul tuo dispositivo). Per istruzioni su come rivedere e interpretare le accessibilità del tuo test Robo, visita Inizia a utilizzare Accessibility Scanner.
Per informazioni generali su come migliorare l'accessibilità della tua app, visita la documentazione sull'accessibilità per gli sviluppatori Android.
Metriche delle prestazioni
I test eseguiti su dispositivi fisici restituiscono anche metriche sul rendimento:
| Metrica | Configurazione dispositivo richiesta |
|---|---|
| Ora di avvio dell'app | API 19 o versioni successive |
| Utilizzo CPU | API 21 o versioni successive |
| Utilizzo memoria | |
| Attività di rete | |
| Frame al secondo | API 21+ e include un SurfaceView |
Risultati dettagliati del test
I risultati dettagliati dei test sono disponibili per 90 giorni dopo l'esecuzione di un test e vengono memorizzati in un bucket Google Cloud Storage, ma sono visibili anche nella console Firebase. Puoi visualizzare i risultati dettagliati del test nel Cloud Storage quando fai clic su Risultati dei test nella pagina dei risultati dell'esecuzione del test. Quando i risultati dettagliati dei test non sono più disponibili, potrai comunque vedere quali test superati o non superati.
Per conservare i risultati dettagliati dei test per più di 90 giorni, devi: per inviare questi risultati del test a un bucket Cloud Storage di tua proprietà utilizzando opzione della riga di comando gcloud --results-bucket. Puoi quindi configurare l'impostazione Età per determinare per quanto tempo archiviare i risultati il tuo bucket Cloud Storage. Consulta Condizioni del ciclo di vita per informazioni su come modificare l'impostazione Età.