Esistono diversi modi per utilizzare Firebase Test Lab per eseguire test sulla tua app per Android, tra cui l'interfaccia a riga di comando, Android Studio, l'interfaccia utente di Test Lab nella console Firebase e l'API di test. Indipendentemente da come scegli di avviare i test, i risultati vengono memorizzati nel progetto Firebase specificato. Puoi esplorare i risultati utilizzando l'API ToolResults oltre a uno degli strumenti sopra indicati. Questa pagina descrive come esaminare e analizzare i risultati di questi test.
Concetti fondamentali
Per visualizzare i risultati di tutte le esecuzioni di test precedenti, seleziona Test Lab nel riquadro di navigazione a sinistra del progetto nella console Firebase. Questa pagina mostra tutte le esecuzioni di test dalle app che hai testato con il tuo progetto utilizzando Test Lab.
Per esaminare i risultati del test, devi prima conoscere tre concetti:
Quando esegui un test o un insieme di casi di test su dispositivi e configurazioni selezionati, Test Lab esegue il test sulla tua app in batch, quindi mostra i risultati sotto forma di matrice di test.
Dispositivi × Esecuzioni test = Matrice di test
- Dispositivo
- Un dispositivo fisico o virtuale (solo Android) su cui esegui un test, ad esempio un telefono, un tablet o un dispositivo indossabile. I dispositivi in una matrice di test sono identificati da modello del dispositivo, versione del sistema operativo, orientamento dello schermo e impostazioni internazionali (note anche come geografia e impostazioni di lingua).
- Test, esecuzione del test
- Un test (o una serie di scenari di test) da eseguire su un dispositivo. Puoi eseguire un test per dispositivo oppure, facoltativamente, suddividere il test ed eseguire i relativi casi di test su dispositivi diversi.
- Matrice di test
- Contiene gli stati e i risultati dei test per le esecuzioni dei test. Se un'esecuzione di test in una matrice non va a buon fine, l'intera matrice non va a buon fine.
Le sezioni seguenti spiegano come navigare nei risultati del test.
Interpreta i risultati della cronologia dei test
Quando accedi ai risultati del test selezionando Test Lab, vengono visualizzati i risultati dei test che hai eseguito finora.
La cronologia dei test è raggruppata per app. Per ogni app vengono mostrate solo le cinque matrici di test più recenti. Se sono disponibili altre matrici, puoi fare clic sul link Tutte le matrici nella parte inferiore dell'elenco dei test dell'app per visualizzare l'elenco completo dell'app.
Interpreta i risultati della matrice di test
Quando avvii un test tramite l'interfaccia utente di Test Lab, viene visualizzato un messaggio che ti reindirizza a una pagina in cui puoi vedere la matrice di test e fare clic su un'esecuzione di test specifica per visualizzare i risultati. Android Studio e il comando gcloud forniscono anche un URL per la pagina dei risultati della matrice di test.
In una tipica matrice di test, si potrebbe eseguire un test su una dozzina di dispositivi diversi. Ogni esecuzione del test può avere un esito diverso. I possibili risultati per qualsiasi esecuzione di test in una matrice di test includono quanto segue:
- Superato
: non si sono verificati errori. - Non riuscito
: è stato riscontrato almeno un errore. - Inconcludente
: i risultati del test non sono stati conseguiti, probabilmente a causa di un errore Test Lab. - Saltato
: i valori delle dimensioni selezionate per alcune esecuzioni del test nella matrice non erano compatibili. Questo accade quando i dispositivi selezionati non sono compatibili con uno o più livelli dell'API Android selezionati.
Per esaminare i risultati aggregati dei test per tutte le matrici di test di una determinata app nel tuo progetto Firebase, fai clic sul nome dell'app, come mostrato nell'esempio seguente:
Pagina dei risultati della matrice di test di esempio con solo quattro esecuzioni del test
Viene visualizzato l'elenco delle matrici di test della tua app, dove puoi fare clic sul nome di qualsiasi matrice di test per visualizzare i risultati della matrice di test e dove puoi fare clic sul nome dell'app (mostrato nella casella rossa in basso) per visualizzare l'elenco delle matrici di test per altre app associate al tuo progetto Firebase.
Pagina di esempio dell'elenco della matrice di test
Una matrice di test può essere superata, non superata o non avere esito. Una matrice di test viene visualizzata come non riuscita o senza risultati se le esecuzioni dei test al suo interno non vanno a buon fine o sono senza risultati.
Interpreta i risultati del test Robo
Se hai eseguito i test con Robo, i risultati includono video e screenshot della scansione della tua UI da parte di Robo, oltre alle consuete metriche di test. Questi video e screenshot includono indicazioni visive delle azioni intraprese da Robo durante la scansione, simili alla funzionalità "Mostra tocchi" in Android. Puoi utilizzare le indicazioni per seguire i progressi di Robo e riprodurre eventuali bug che potrebbe scoprire.
Esempio di video dei risultati del test Robo
Interpreta i risultati di un'unica esecuzione del test
Nella pagina dei risultati della matrice di test, fai clic su una delle esecuzioni del test per visualizzarne il risultato.
Pagina dei risultati di esecuzione del test di esempio
In questa pagina puoi vedere il tempo necessario per ogni esecuzione del test. Puoi anche visualizzare i risultati per scenari di test specifici corrispondenti ai metodi nell'APK di test (per i test di strumentazione) e i risultati dettagliati dei test, tra cui log dei test, screenshot e video. Per il test Robo, i risultati dettagliati del test includono anche una mappa delle attività che mostra graficamente i percorsi dell'interfaccia utente visitati dal test Robo.
Risultati del test di strumentazione partizionato
Per aiutarti a interpretare i risultati dei test con strumenti, Test Lab separa ogni test in una propria pagina di report dettagliata, completa di analisi dello stack, log e video. Questa funzionalità funziona indipendentemente dall'utilizzo o meno di Android Orchestrator.
Esempio di pagina dei risultati dello scenario di test
Interpreta i risultati di accessibilità
I test Robo utilizzano Android Accessibility Scanner per rilevare i problemi di accessibilità nella tua app (tieni presente che puoi anche eseguire un'analisi localmente sul dispositivo). Per istruzioni su come esaminare e interpretare i risultati di accessibilità del Robo test, consulta la guida introduttiva ad Accessibility Scanner.
Per informazioni generali su come migliorare l'accessibilità della tua app, consulta la documentazione sull'accessibilità per gli sviluppatori Android.
Metriche delle prestazioni
I test eseguiti su dispositivi fisici restituiscono anche le metriche sul rendimento:
| Metrica | Configurazione dispositivo richiesta |
|---|---|
| Ora di avvio dell'app | API 19 e versioni successive |
| Utilizzo CPU | API 21 o versioni successive |
| Utilizzo memoria | |
| Attività di rete | |
| Frame al secondo | API 21 e versioni successive e include un SurfaceView |
Risultati dei test dettagliati
I risultati dettagliati del test sono disponibili per 90 giorni dopo l'esecuzione di un test e vengono archiviati in un bucket Google Cloud Storage (ma sono visibili anche nella console Firebase). Puoi visualizzare i risultati dettagliati del test nel bucket Cloud Storage quando fai clic su Risultati test nella pagina dei risultati di esecuzione del test. Quando i risultati dettagliati dei test non sono più disponibili, puoi comunque vedere quali test sono stati superati o non sono stati superati.
Per conservare i risultati dei test dettagliati per più di 90 giorni, devi inviarli a un bucket Cloud Storage di tua proprietà utilizzando l'opzione --results-bucket della riga di comando gcloud. Puoi quindi impostare l'impostazione Age (Età) per determinare per quanto tempo i risultati vengono archiviati nel tuo bucket Cloud Storage. Consulta la sezione Condizioni del ciclo di vita per informazioni su come modificare l'impostazione Età.