In der Firebase Konsole können Sie die Ergebnisse aller Ihrer vorherigen Test läufe unter DevOps & Engagement > Test Lab einsehen. Auf dieser Seite werden alle detaillierten Ergebnisse der Testläufe für die Apps angezeigt, die Sie mit Ihrem Projekt in Test Lab getestet haben. Auf der Seite werden Tests angezeigt, die über die Firebase Konsole oder die Firebase CLI ausgeführt wurden.
Im Folgenden erfahren Sie, wie Sie Ihre Testergebnisse analysieren.
Testergebnisse abrufen
Nachdem Sie einen Test hochgeladen oder ausgewählt und Ihre Testgeräte angegeben haben, können Sie eine Zusammenfassung Ihrer Testergebnisse (einschließlich Logs, Videos und Screenshots) in der DevOps & Engagement > Test Lab dashboard der Firebase Konsole aufrufen. Ihre Rohdaten der Testergebnisse werden auch in einem Google Cloud-Bucket gespeichert, um die Verwendung mit CI-Systemen zu erleichtern.
Dort finden Sie eine Liste aller Ihrer vorherigen Testläufe. Um die Ergebnisse zu verstehen, ist es hilfreich, etwas über Testmatrizen zu wissen: Wenn Sie einen Test oder eine Reihe von Testfällen auf den von Ihnen ausgewählten Geräten und Konfigurationen ausführen, führt Test Lab den Test in einem Batch für Ihre App aus und zeigt die Ergebnisse dann als Testmatrix an.
Geräte × Testausführungen = Testmatrix
- Gerät
- Ein physisches oder virtuelles Gerät (nur Android), auf dem Sie einen Test ausführen, z. B. ein Smartphone, Tablet oder Wearable. Geräte in einer Testmatrix werden durch das Gerätemodell, die Betriebssystemversion, die Bildschirmausrichtung und das Gebietsschema (auch als geografische und Spracheinstellungen bezeichnet) identifiziert.
- Test, Testausführung
- Ein Test (oder eine Reihe von Testfällen), der auf einem Gerät ausgeführt werden soll. Sie können einen Test pro Gerät ausführen oder den Test optional aufteilen und die Testfälle auf verschiedenen Geräten ausführen.
- Test matrix
- Enthält die Status und Testergebnisse für Ihre Testausführungen. Wenn eine Testausführung in einer Matrix fehlschlägt, schlägt die gesamte Matrix fehl.
Ergebnisse der Testmatrix interpretieren
Wenn Sie Ihre Tests in der Firebase Konsole starten, werden Sie in Test Lab direkt zu Ihrer Testmatrix für den laufenden Test weitergeleitet. Dort können Sie den Fortschritt Ihrer Tests in Echtzeit verfolgen, Wenn Sie stattdessen das Befehlszeilentool verwendet haben, können Sie über die angegebene URL zur Seite mit der Testmatrix für den laufenden Test gelangen.
Die Matrix enthält eine Zeile für jede Testausführung, die in Test Lab ausgeführt wird. Das Symbol vor dem Namen der Ausführung zeigt den Status dieser Ausführung an:
- play_circle_outline Wird ausgeführt: Die Testausführung wird noch ausgeführt. Je nach Anzahl und Komplexität der Tests in Ihrer App kann es bis zu einer Stunde dauern, bis die Ausführung abgeschlossen ist.
- check_circle Bestanden: Bei keiner der Ausführungen ist ein Test fehlgeschlagen.
- warning Fehlgeschlagen: Bei mindestens einer der Ausführungen ist ein Test fehlgeschlagen.
- error Nicht eindeutig: Die Testergebnisse waren nicht eindeutig, möglicherweise aufgrund eines Test Lab Fehlers.
- block Übersprungen: Test Lab hat Ihren Test übersprungen, da die von Ihnen ausgewählte Kombination aus Gerät und Betriebssystemversion nicht verfügbar ist.
Ergebnisse einer einzelnen Testausführung interpretieren
Klicken Sie auf der Seite mit den Ergebnissen der Testmatrix auf eine der Testausführungen, um das Ergebnis dieser bestimmten Testausführung zu sehen.
Auf der Seite werden Statistiken für diese Testausführung angezeigt, einschließlich der bei den Tests aufgetretenen Probleme, einer Liste der Testfälle, Logs der Ausführung und eines Videos der Testausführung.
Detaillierte Testergebnisse
Detaillierte Testergebnisse sind Google Cloud Storage Bucket für 90 Tage lang verfügbar. Klicken Sie auf einer Seite mit den Ergebnissen einer Testausführung auf Quelldateien ansehen , um den Bucket aufzurufen.
Wenn Sie detaillierte Testergebnisse länger als 90 Tage aufbewahren möchten, senden Sie die Testergebnisse mit der gcloud-Befehlszeilenoption --results-bucket an einen dauerhafteren Cloud Storage Bucket, dessen Inhaber Sie sind. Anschließend können Sie mit der Einstellung Alter festlegen, wie lange Cloud Storage die Ergebnisse speichert. Weitere Informationen zum Ändern der Einstellung Alter finden Sie unter Lebenszyklusbedingungen.