In der Firebase-Konsole können Sie die Ergebnisse aller vorherigen Testläufe aufrufen. Gehen Sie dazu zu DevOps & Engagement > Test Lab. Auf dieser Seite werden alle detaillierten Ergebnisse der Testläufe der Apps angezeigt, die Sie mit Ihrem Projekt mit Test Lab getestet haben. Auf der Seite werden Tests angezeigt, die über die Firebase-Konsole oder die Firebase-Befehlszeile ausgeführt wurden.
Im Folgenden erfahren Sie, wie Sie Ihre Testergebnisse analysieren können.
Testergebnisse ansehen
Nachdem Sie einen Test hochgeladen oder ausgewählt und Ihre Testgeräte angegeben haben, können Sie eine Zusammenfassung Ihrer Testergebnisse (einschließlich Logs, Videos und Screenshots) im Firebase-Console-Dashboard DevOps & Engagement > Test Lab aufrufen. Ihre Rohtestergebnisse werden auch in einem Google Cloud-Bucket gespeichert, um die Verwendung mit CI-Systemen zu vereinfachen.
Dort finden Sie eine Liste aller bisherigen Testläufe. Um die Ergebnisse zu verstehen, ist es hilfreich, etwas über Testmatrizen zu wissen: Wenn Sie einen Test oder eine Reihe von Testfällen für die von Ihnen ausgewählten Geräte und Konfigurationen ausführen, führt Test Lab den Test für Ihre App in einem Batch aus und zeigt die Ergebnisse dann als Testmatrix an.
Geräte × Testausführungen = Testmatrix
- Gerät
- Ein physisches oder virtuelles Gerät (nur Android), auf dem Sie einen Test ausführen, z. B. ein Smartphone, ein Tablet oder ein Wearable. Geräte in einer Testmatrix werden durch Gerätemodell, Betriebssystemversion, Bildschirmausrichtung und Sprache (auch als Geografie- und Spracheinstellungen bezeichnet) identifiziert.
- Test, Testausführung
- Ein Test (oder eine Reihe von Testläufen), der auf einem Gerät ausgeführt werden soll. Sie können einen Test pro Gerät ausführen oder den Test optional aufteilen und die Testfälle auf verschiedenen Geräten ausführen.
- Testmatrix
- Enthält die Status und Testergebnisse für Ihre Testausführungen. Wenn eine Testausführung in einer Matrix fehlschlägt, schlägt die gesamte Matrix fehl.
Ergebnisse der Testmatrix interpretieren
Wenn Sie Ihre Tests in der Firebase-Konsole starten, werden Sie von Test Lab direkt zur laufenden Testmatrix weitergeleitet, wo Sie den Fortschritt Ihrer Tests in Echtzeit verfolgen können. Wenn Sie stattdessen das Befehlszeilentool verwendet haben, können Sie der angegebenen URL folgen, um zur Seite mit der laufenden Testmatrix zu gelangen.
Die Matrix enthält eine Zeile für jede Testausführung, die Test Lab ausführt. Das Symbol vor dem Ausführungsnamen zeigt den Status der Ausführung an:
- play_circle_outline In Bearbeitung:Die Testausführung läuft noch. Die Ausführung kann je nach Anzahl und Komplexität der Tests in Ihrer App bis zu einer Stunde dauern.
- check_circle Bestanden: Keiner der Tests der Ausführung ist fehlgeschlagen.
- warning Fehlgeschlagen: Mindestens einer der Tests der Ausführung ist fehlgeschlagen.
- error Nicht aussagekräftig: Die Testergebnisse waren nicht aussagekräftig, möglicherweise aufgrund eines Test Lab-Fehlers.
- block Übersprungen:Test Lab hat den Test übersprungen, weil die von dir ausgewählte Kombination aus Gerät und Betriebssystemversion nicht verfügbar ist.
Ergebnisse einer einzelnen Testausführung interpretieren
Klicken Sie auf der Ergebnisseite der Testmatrix auf eine der Testausführungen, um das Ergebnis dieser bestimmten Testausführung aufzurufen.
Auf der Seite werden Statistiken für diese Testausführung angezeigt, einschließlich der beim Testen aufgetretenen Probleme, einer Liste der Testfälle, Logs der Ausführung und eines Videos des Testlaufs.
Detaillierte Testergebnisse
Detaillierte Testergebnisse sind 90 Tage lang in einem Google Cloud Storage-Bucket verfügbar. Klicken Sie auf der Ergebnisseite einer Testausführung auf Quelldateien ansehen, um den Bucket aufzurufen.
Wenn Sie detaillierte Testergebnisse länger als 90 Tage aufbewahren möchten, senden Sie die Testergebnisse mit der gcloud-Befehlszeilenoption --results-bucket an einen dauerhafteren Cloud Storage-Bucket, der Ihnen gehört. Anschließend können Sie mit der Einstellung Alter festlegen, wie lange Cloud Storage die Ergebnisse speichert. Weitere Informationen zum Ändern der Einstellung Alter finden Sie unter Lebenszyklusbedingungen.