Join us for Firebase Summit on November 10, 2021. Tune in to learn how Firebase can help you accelerate app development, release with confidence, and scale with ease. Register

Analysieren Sie die Ergebnisse des Firebase-Testlabors

Es gibt mehr Möglichkeiten , Firebase Test Lab verwenden Tests auf Ihrem Android - App laufen, einschließlich der Befehlszeilenschnittstelle , Android Studio , das Test Lab UI in der Firebase - Konsole und das Testing - API . Unabhängig davon, wie Sie Ihre Tests starten, werden die Ergebnisse in dem von Ihnen angegebenen Firebase-Projekt gespeichert. Sie können die Ergebnisse mit erforschen ToolResults API zusätzlich zu einem der oben genannten Werkzeuge. Auf dieser Seite wird beschrieben, wie Sie diese Testergebnisse überprüfen und analysieren.

Schlüssel Konzepte

Um die Ergebnisse aus allen Ihren vorherigen Testläufen wählt Testlabor in der linken Navigationsleiste Ihres Projektes in der Firebase Konsole. Auf dieser Seite werden alle Testläufe der Apps angezeigt, die Sie mit Ihrem Projekt mit Test Lab getestet haben.

Um die Testergebnisse zu überprüfen, müssen Sie zunächst drei Konzepte verstehen:

Wenn Sie einen Test oder eine Reihe von Testfällen gegen Geräte und Konfigurationen ausgeführt haben Sie ausgewählt haben , läuft Test Lab der Test gegen Ihre Anwendung in einer Charge, dann die Ergebnisse als Testmatrix zeigt.

Geräte × Testausführungen = Testmatrix

Gerät
Ein physisches oder virtuelles Gerät (nur Android), auf dem Sie einen Test durchführen, z. B. ein Telefon, Tablet oder tragbares Gerät. Geräte in einer Testmatrix werden anhand des Gerätemodells, der Betriebssystemversion, der Bildschirmausrichtung und des Gebietsschemas (auch als Geografie- und Spracheinstellungen bezeichnet) identifiziert.
Test, Testdurchführung
Ein Test (oder eine Reihe von Testfällen), der auf einem Gerät ausgeführt werden soll. Sie können einen Test pro Gerät ausführen oder den Test optional teilen und seine Testfälle auf verschiedenen Geräten ausführen.
Testmatrix
Enthält die Status und Testergebnisse für Ihre Testausführungen. Wenn eine Testausführung in einer Matrix fehlschlägt, schlägt die gesamte Matrix fehl.

In den folgenden Abschnitten wird erläutert, wie Sie in den Testergebnissen navigieren.

Ergebnisse des Testverlaufs interpretieren

Wenn Sie Ihre Testergebnisse navigieren , indem Test Lab Auswahl, können Sie die Ergebnisse der Tests sehen Sie bisher ausgeführt haben.

Der Testverlauf ist nach App gruppiert. Für jede App werden nur die letzten fünf Testmatrizen angezeigt; wenn mehr verfügbar sind, können Sie alle Matrices Link am unteren Rand der App Testliste klicken Sie auf die vollständige Liste für diese App zu sehen.

Ergebnisse der Testmatrix interpretieren

Wenn Sie einen Test durch die Start- Test Lab UI werden Sie auf eine Seite weitergeleitet , wo Sie Ihre Testmatrix sehen können und eine spezifische Testausführung klicken Testergebnisse anzuzeigen. Android Studio und der gcloud Befehl bieten eine URL für die Testmatrix Ergebnisseite als auch.

In einer typischen Testmatrix können Sie einen Test auf etwa einem Dutzend verschiedener Geräte durchführen. Jede Testausführung kann ein anderes Ergebnis haben. Die möglichen Ergebnisse für jede Testausführung in einer Testmatrix umfassen Folgendes:

  • BestandenTest bestanden : Es wurden keine Fehler festgestellt.
  • GescheitertIm Test durchgefallen : Mindestens ein Fehler ist aufgetreten.
  • Nicht schlüssigTest bestanden : Die Testergebnisse waren nicht eindeutig, möglicherweise aufgrund eines Fehlers im Testlabor.
  • ÜbersprungenTest bestanden : Die ausgewählten Dimensionswerte für einige Testausführungen in der Matrix waren nicht kompatibel. Dies tritt auf, wenn die von Ihnen ausgewählten Geräte nicht mit einer oder mehreren der von Ihnen ausgewählten Android-API-Ebenen kompatibel sind.

Um aggregierte Testergebnisse für alle Testmatrizen für eine bestimmte App in Ihrem Firebase-Projekt anzuzeigen, klicken Sie auf den Namen der App, wie im folgenden Beispiel gezeigt:

Beispiel-Testmatrix-Ergebnisseite mit nur vier TestausführungenErgebnisse der Testmatrix

Dadurch gelangen Sie zur Testmatrixliste für Ihre App, in der Sie auf den Namen einer beliebigen Testmatrix klicken können, um die Testmatrixergebnisse anzuzeigen, und wo Sie auf den Namen der App (in der roten Box unten angezeigt) klicken können, um die Testmatrixliste für andere Apps, die mit Ihrem Firebase-Projekt verknüpft sind.

Beispiel einer Testmatrix-ListenseiteTestmatrixliste

Eine Testmatrix kann bestehen, fehlschlagen oder nicht schlüssig sein. Eine Testmatrix wird als fehlgeschlagen oder nicht schlüssig angezeigt, wenn Testausführungen in dieser Matrix fehlschlagen oder nicht schlüssig sind.

Ergebnisse des Robo-Tests interpretieren

Wenn Sie Ihre Tests mit Robo durchgeführt haben, enthalten Ihre Ergebnisse zusätzlich zu den üblichen Testmetriken Videos und Screenshots von Robo, die Ihre Benutzeroberfläche crawlen. Diese Videos und Screenshots enthalten visuelle Hinweise auf die Aktionen, die Robo während des Crawls ausgeführt hat, ähnlich der Funktion "Touches anzeigen" in Android. Sie können die Hinweise verwenden, um den Fortschritt von Robo zu verfolgen und alle Fehler zu reproduzieren, die möglicherweise aufgedeckt werden.

Beispielvideo mit Robo-Testergebnissen

Robo-Testergebnisse

Ergebnisse einer einzelnen Testausführung interpretieren

Klicken Sie auf der Ergebnisseite der Testmatrix auf eine der Testausführungen, um das Ergebnis dieser spezifischen Testausführung anzuzeigen.

Beispielseite mit Testausführungsergebnissen Ergebnisse der Testausführung

Auf dieser Seite sehen Sie die benötigte Zeit für jede Testausführung. Sie können auch die Ergebnisse für bestimmte Testfälle sehen, die den Methoden in Ihrem Test-APK (für Instrumentierungstests) entsprechen, sowie detaillierte Testergebnisse, einschließlich Testprotokollen, Screenshots und Videos. Für Robo - Test , detaillierte Testergebnisse auch eine Aktivität Karte , die grafisch die UI - Pfade zeigt , die von Robo - Test besucht wurde.

Testergebnisse der partitionierten Instrumentierung

Um Sie bei der Interpretation instrumentierter Testergebnisse zu unterstützen, unterteilt Test Lab jeden Test in eine eigene detaillierte Berichtsseite mit Stack-Traces, Protokollen und Videos. Diese Funktion funktioniert unabhängig davon, ob Sie Android Orchestrator verwenden oder nicht.

Beispielseite mit Testfallergebnissen Testfallergebnisse

Ergebnisse zur Barrierefreiheit interpretieren

Robo-Tests verwenden den Android Accessibility Scanner, um Barrierefreiheitsprobleme in Ihrer App zu erkennen (beachten Sie, dass Sie einen Scan auch lokal auf Ihrem Gerät ausführen können). Für Anweisungen, wie die Zugänglichkeit Ergebnisse Ihres Robo - Tests zu überprüfen und zu interpretieren, Besuch mit Accessibility Scanner Ersten Schritten .

Für allgemeine Informationen über die Zugänglichkeit Ihrer App zu verbessern, besuchen Sie die Android Developer Accessibility - Dokumentation .

Leistungskennzahlen

Tests, die auf physischen Geräten ausgeführt werden, geben auch Leistungskennzahlen zurück:

Metrisch Erforderliche Gerätekonfiguration
App-Startzeit API 19+
CPU auslastung API 21+
Speichernutzung
Netzwerkaktivität
Bilder pro Sekunde API 21+ und enthält eine SurfaceView
Grafikleistung API 23+

Details zur Grafikleistung

Der Grafikleistungsbericht enthält Statistiken zu mehreren wichtigen Grafikkennzahlen:

  • Verpasste Vsync: Die Anzahl der verpassten Vsync Ereignisse, durch die Anzahl der Frames unterteilt , die länger als 16 ms nahm zu machen.
  • Hohe Eingangslatenzzeit: Die Anzahl der Eingabeereignisse , die länger dauerten als 24 ms, durch die Anzahl der Frames unterteilt , die länger dauerten als 16 ms zu machen.
  • Langsame UI thread: Die Anzahl , wie oft das Gewinde UI dauerte mehr als 8 ms abgeschlossen ist , durch die Anzahl von Rahmen unterteilt , die länger als 16 ms dauerte zu machen.
  • Langsame Zeichnungsbefehle: Die Anzahl der Male, die an die GPU Zeichnungsbefehle sendet dauerte mehr als 12 ms, durch die Anzahl von Rahmen unterteilt , die länger dauerte als 16 ms zu machen.
  • Langsam Bitmap Uploads: Die Anzahl der Male , dass die Bitmap dauerte länger als 3,2 ms auf die GPU durch die Anzahl der Frames geteilt zu , die länger dauerten als 16 ms zu machen.
  • Renderzeit: Die Verteilung der Renderzeiten für jeden Rahmen des Testlaufs. Renderzeiten von mehr als 32 Millisekunden führen zu einer spürbaren Verlangsamung Ihrer Benutzeroberfläche. Renderzeiten von 700+ weisen auf eingefrorene Frames hin. Render - Daten werden aus gesammelten dumpsys graphicsstats .

Detaillierte Testergebnisse

Detaillierte Testergebnisse sind 90 Tage lang verfügbar, nachdem Sie einen Test ausgeführt haben, und werden in einem Google Cloud Storage-Bucket gespeichert (sind aber auch in der Firebase-Konsole sichtbar). Sie können in der Cloud Storage - Bucket detaillierten Testergebnisse anzeigen , wenn Sie View Source - Dateien auf dem Testausführungsergebnisse Seite klicken. Wenn keine detaillierten Testergebnisse mehr verfügbar sind, können Sie immer noch sehen, welche Tests bestanden oder fehlgeschlagen sind.

Um detaillierte Testergebnisse für länger als 90 Tage zu behalten, müssen Sie diese Testergebnisse zu einem Cloud Storage Eimer senden , dass Sie besitzen die mit --results-bucket gcloud Befehlszeilenoption . Anschließend können Sie die Alte Einstellung festgelegt , um zu bestimmen , wie lange die Ergebnisse in Ihren Cloud Storage Eimern gespeichert sind. Siehe Lifecycle Bedingungen für Informationen , wie die Alten Einstellung zu ändern.