Analyse der Testergebnisse

Egal , ob Sie Ihre Tests durch die laufen Firebase - Konsole oder dem Firebase CLI können Sie Ihre ausführlichen Testergebnisse in der Firebase Konsole finden. Lesen Sie weiter, um zu erfahren, wie Sie Ihre Testergebnisse analysieren.

Testergebnisse anzeigen

Nachdem Sie einen Test hochgeladen oder ausgewählt und Ihre Testgeräte angegeben haben, können Sie im Test Lab-Dashboard der Firebase-Konsole eine Zusammenfassung Ihrer Testergebnisse (einschließlich Protokollen, Videos und Screenshots) anzeigen. Ihre Rohtestergebnisse werden zur einfacheren Verwendung mit CI-Systemen auch in einem Google Cloud-Bucket gespeichert.

Um zu sehen , die Testergebnisse zum Test Lab Abschnitt der Kopffirebase Konsole .

Dort finden Sie eine Liste aller Ihrer bisherigen Testläufe. Um die Ergebnisse zu verstehen, ist es hilfreich, etwas über Testmatrizen zu wissen: Wenn Sie einen Test oder eine Reihe von Testfällen für von Ihnen ausgewählte Geräte und Konfigurationen ausführen, führt Test Lab den Test für Ihre App in einem Stapel aus und zeigt dann die Ergebnisse als Testmatrix.

Geräte × Testausführungen = Testmatrix

Gerät
Ein physisches oder virtuelles Gerät (nur Android), auf dem Sie einen Test durchführen, z. B. ein Telefon, Tablet oder tragbares Gerät. Geräte in einer Testmatrix werden anhand des Gerätemodells, der Betriebssystemversion, der Bildschirmausrichtung und des Gebietsschemas (auch als Geografie- und Spracheinstellungen bezeichnet) identifiziert.
Test, Testdurchführung
Ein Test (oder eine Reihe von Testfällen), der auf einem Gerät ausgeführt werden soll. Sie können einen Test pro Gerät ausführen oder den Test optional teilen und seine Testfälle auf verschiedenen Geräten ausführen.
Testmatrix
Enthält die Status und Testergebnisse für Ihre Testausführungen. Wenn eine Testausführung in einer Matrix fehlschlägt, schlägt die gesamte Matrix fehl.

Ergebnisse der Testmatrix interpretieren

Wenn Sie Ihre Tests in der Firebase-Konsole starten, führt Sie Test Lab direkt zu Ihrer laufenden Testmatrix, wo Sie den Fortschritt Ihrer Tests verfolgen können. Wenn Sie stattdessen das Befehlszeilentool verwendet haben, können Sie der bereitgestellten URL folgen, um zur Seite der laufenden Testmatrix zu gelangen.

Die Matrix enthält eine Zeile für jede Testausführung im Testlabor. Das Symbol vor dem Ausführungsnamen zeigt den Status dieser Ausführung an:

  • play_circle_outline In Bearbeitung: Die Testdurchführung läuft noch. Die Ausführung kann je nach Anzahl und Komplexität der Tests in Ihrer App bis zu einer Stunde dauern.
  • check_circle Bestanden: Keine der Ausführung des Tests nicht bestanden.
  • Fehlgeschlagen Warnung: Mindestens einer der Tests der Ausführung fehlgeschlagen.
  • Fehler Inconclusive: Die Testergebnisse waren ergebnislos, möglicherweise aufgrund eines Fehlers Test Lab.
  • Block Skipped: Test Lab übersprungen Ihren Test, da das Gerät / OS Version Kombination nicht verfügbar ist , ausgewählt.

Interpretieren von Ergebnissen einer einzelnen Testausführung

Klicken Sie auf der Ergebnisseite der Testmatrix auf eine der Testausführungen, um das Ergebnis dieser spezifischen Testausführung anzuzeigen.

Die Seite zeigt Ihnen Statistiken für diese Testausführung, einschließlich der beim Testen aufgetretenen Probleme, eine Liste der Testfälle, Protokolle der Ausführung und ein Video des ausgeführten Tests.

Detaillierte Testergebnisse

Detaillierte Testergebnisse sind 90 Tage lang in einem Google Cloud Storage-Bucket verfügbar. Klicken Sie auf Ansicht Quelldateien in einem Testausführungsergebnis Seite die Eimer zu sehen.

Zur Erhaltung detaillierte Testergebnisse für länger als 90 Tage, um die Testergebnisse zu einem permanenten Cloud Storage Eimer senden , dass Sie besitzen die mit --results-bucket gcloud Befehlszeilenoption . Anschließend können Sie die Alte Einstellung eingestellt , um zu bestimmen , wie lange Cloud Storage die Ergebnisse speichert. Weitere Informationen darüber , wie die Age - Einstellung zu ändern, finden Lifecycle Bedingungen .