Es gibt mehrere Möglichkeiten, Firebase Test Lab zum Ausführen von Tests für Ihre Android-App zu verwenden, darunter die Befehlszeilenschnittstelle, Android Studio, die Test Lab UI in der Firebase Console und die Testing API. Unabhängig davon, wie Sie Ihre Tests starten, werden die Ergebnisse in dem von Ihnen angegebenen Firebase-Projekt gespeichert. Zusätzlich zu den oben genannten Tools können Sie die Ergebnisse auch mit der ToolResults API untersuchen. Auf dieser Seite wird beschrieben, wie Sie diese Testergebnisse überprüfen und analysieren.
Wichtige Konzepte
Wenn Sie die Ergebnisse aller Ihrer vorherigen Testläufe sehen möchten, wählen Sie Test Lab in der Firebase Console im linken Navigationsbereich Ihres Projekts aus.Firebase Auf dieser Seite werden alle Testläufe der Apps angezeigt, die Sie mit Ihrem Projekt in Test Lab getestet haben.
Um Testergebnisse zu überprüfen, müssen Sie zuerst drei Konzepte verstehen:
Wenn Sie einen Test oder eine Reihe von Testfällen auf den von Ihnen ausgewählten Geräten und Konfigurationen ausführen, führt Test Lab den Test für Ihre App in einem Batch aus und zeigt die Ergebnisse dann als Testmatrix an.
Geräte × Testausführungen = Testmatrix
- Gerät
- Ein physisches oder virtuelles Gerät (nur Android), auf dem Sie einen Test ausführen, z. B. ein Smartphone, Tablet oder Wearable. Geräte in einer Testmatrix werden durch Gerätemodell, Betriebssystemversion, Bildschirmausrichtung und Gebietsschema (auch als geografische und Spracheinstellungen bezeichnet) identifiziert.
- Test, Testausführung
- Ein Test (oder eine Reihe von Testfällen), der auf einem Gerät ausgeführt werden soll. Sie können einen Test pro Gerät ausführen oder den Test optional aufteilen und die Testfälle auf verschiedenen Geräten ausführen.
- Test matrix
- Enthält die Status und Testergebnisse für Ihre Testausführungen. Wenn eine Testausführung in einer Matrix fehlschlägt, schlägt die gesamte Matrix fehl.
In den folgenden Abschnitten wird erläutert, wie Sie sich in den Testergebnissen bewegen.
Ergebnisse des Testverlaufs interpretieren
Wenn Sie zu Ihren Testergebnissen navigieren, indem Sie Test Lab auswählen, sehen Sie die Ergebnisse der Tests, die Sie bisher ausgeführt haben.
Der Testverlauf ist nach App gruppiert. Für jede App werden nur die letzten fünf Testmatrizen angezeigt. Wenn weitere verfügbar sind, können Sie unten in der Liste der App-Tests auf den Link Alle Matrizen klicken, um die vollständige Liste für diese App zu sehen.
Ergebnisse der Testmatrix interpretieren
Wenn Sie einen Test über die Test Lab UI starten, werden Sie zu einer Seite weitergeleitet, auf der Sie Ihre Testmatrix sehen und auf eine bestimmte Testausführung klicken können, um die Testergebnisse aufzurufen. Android Studio und der gcloud-Befehl stellen ebenfalls eine URL für die Ergebnisseite der Testmatrix bereit.
In einer typischen Testmatrix führen Sie möglicherweise einen Test auf etwa einem Dutzend verschiedener Geräte aus. Jede Testausführung kann ein anderes Ergebnis haben. Die möglichen Ergebnisse für eine Testausführung in einer Testmatrix sind:
- Bestanden
: Es sind keine Fehler aufgetreten. - Fehlgeschlagen
: Es ist mindestens ein Fehler aufgetreten. - Nicht eindeutig
: Die Testergebnisse waren
nicht eindeutig, möglicherweise aufgrund eines Test Lab Fehlers. - Übersprungen
: Die ausgewählten Dimensionswerte
für einige Testausführungen in der Matrix waren nicht kompatibel. Dies tritt auf, wenn die von Ihnen ausgewählten Geräte nicht mit einer oder mehreren der von Ihnen ausgewählten Android API-Ebenen kompatibel sind.
Wenn Sie aggregierte Testergebnisse für alle Testmatrizen für eine bestimmte App in Ihrem Firebase-Projekt sehen möchten, klicken Sie auf den Namen der App, wie im folgenden Beispiel gezeigt:
Beispielseite mit Ergebnissen der Testmatrix mit nur vier Testausführungen
Sie gelangen zur Liste der Testmatrizen für Ihre App. Dort können Sie auf den Namen einer Testmatrix klicken, um die Ergebnisse der Testmatrix zu sehen, und auf den Namen der App (im roten Feld unten), um die Liste der Testmatrizen für andere Apps aufzurufen, die mit Ihrem Firebase-Projekt verknüpft sind.
Beispielseite mit Liste der Testmatrizen
Eine Testmatrix kann bestanden, fehlgeschlagen oder nicht eindeutig sein. Eine Testmatrix wird als fehlgeschlagen oder nicht eindeutig angezeigt, wenn Testausführungen in dieser Matrix fehlschlagen oder nicht eindeutig sind.
Robo-Testergebnisse interpretieren
Wenn Sie Ihre Tests mit Robo ausgeführt haben, enthalten die Ergebnisse neben den üblichen Testmesswerten auch Videos und Screenshots, die zeigen, wie Robo Ihre UI durchläuft. In diesen Videos und Screenshots sind visuelle Hinweise auf die Aktionen enthalten, die Robo während des Crawls ausgeführt hat, ähnlich der Funktion „Berührungen anzeigen“ in Android. Anhand der Hinweise können Sie den Fortschritt von Robo verfolgen und alle Fehler reproduzieren, die er möglicherweise findet.
Beispielvideo mit Robo-Testergebnissen
Ergebnisse einer einzelnen Testausführung interpretieren
Klicken Sie auf der Ergebnisseite der Testmatrix auf eine der Testausführungen, um das Ergebnis dieser bestimmten Testausführung zu sehen.
Beispielseite mit Ergebnissen der Testausführung
Auf dieser Seite sehen Sie die für jede Testausführung benötigte Zeit. Außerdem sehen Sie die Ergebnisse für bestimmte Testfälle, die Methoden in Ihrem Test-APK entsprechen (für Instrumentierungstests), und detaillierte Testergebnisse, einschließlich Testprotokollen, Screenshots und Videos. Für Robo-Tests enthalten die detaillierten Test ergebnisse auch eine Aktivitätskarte, auf der die UI-Pfade grafisch dargestellt sind, die vom Robo-Test besucht wurden.
Aufgeteilte Ergebnisse von Instrumentierungstests
Um Ihnen die Interpretation der Ergebnisse von Instrumentierungstests zu erleichtern, Test Lab trennt jeden Test in eine eigene detaillierte Berichtsseite auf, komplett mit Stacktraces, Protokollen und Videos. Diese Funktion funktioniert unabhängig davon, ob Sie Android Orchestrator verwenden.
Beispielseite mit Ergebnissen des Testfalls
Ergebnisse der Bedienungshilfen interpretieren
Bei Robo-Tests wird der Android Accessibility Scanner verwendet, um Probleme mit den Bedienungshilfen in Ihrer App zu erkennen. Sie können auch einen Scan lokal auf Ihrem Gerät ausführen. Eine Anleitung zum Überprüfen und Interpretieren der Ergebnisse der Bedienungshilfen Ihres Robo-Tests finden Sie unter Erste Schritte mit dem Accessibility Scanner.
Allgemeine Informationen zum Verbessern der Bedienungshilfen Ihrer App finden Sie unter der Dokumentation zu Bedienungshilfen für Android-Entwickler.
Leistungsmesswerte
Bei Tests auf physischen Geräten werden auch Leistungsmesswerte zurückgegeben:
| Messwert | Erforderliche Gerätekonfiguration |
|---|---|
| App-Startzeit | API 19 oder höher |
| CPU-Nutzung | API 21 oder höher |
| Arbeitsspeichernutzung | |
| Netzwerkaktivität | |
| Bilder pro Sekunde | API 21 oder höher und enthält eine SurfaceView |
Detaillierte Testergebnisse
Detaillierte Testergebnisse sind 90 Tage nach der Ausführung eines Tests verfügbar und werden in einem Google Cloud Storage Bucket gespeichert (sind aber auch in der Firebase Konsole sichtbar). Sie können detaillierte Testergebnisse im Cloud Storage Bucket aufrufen, indem Sie auf der Ergebnisseite der Testausführung auf Testergebnisse klicken. Wenn detaillierte Testergebnisse nicht mehr verfügbar sind, können Sie trotzdem sehen, welche Tests bestanden oder fehlgeschlagen sind.
Wenn Sie detaillierte Testergebnisse länger als 90 Tage aufbewahren möchten, können Sie sie mit der gcloud-Befehlszeilenoption --results-bucket an einen Cloud Storage Bucket senden, dessen Inhaber Sie sind. Anschließend können Sie die Einstellung Alter festlegen, um zu bestimmen, wie lange die Ergebnisse in Ihrem Cloud Storage Bucket gespeichert werden. Informationen zum Ändern der Einstellung Alter finden Sie unter Lebenszyklusbedingungen.
Wenn Sie beim Ausführen eines Tests den Fehler does not have storage.objects.create access to the Google Cloud Storage object. Permission 'storage.objects.create' denied on resource (or it may not exist).. erhalten, hat das Hauptkonto, das den Test ausführt, möglicherweise nicht die richtige Berechtigung für das Projekt. Standardmäßig erstellt Firebase einen Bucket für Sie in Google Cloud Storage. Dazu muss das Hauptkonto, das den Test ausführt, jedoch die Rolle „roles/editor“ haben, die eine permissive Rolle ist. Wenn Sie diese Rolle nicht dem Hauptkonto zuweisen können, können Sie die gcloud-Befehlszeilenoption--results-bucket verwenden.