Fehlerbehebung in Test Lab & Häufig gestellte Fragen

Warum dauert die Ausführung meines Tests so lange?

Wenn du in der Test Lab ein Gerät mit hoher Kapazität auswählst werden Tests möglicherweise schneller gestartet. Wenn ein Gerät eine geringe Kapazität hat, kann die Ausführung der Tests länger dauern. Wenn die Anzahl der aufgerufenen Tests ist viel größer als die Kapazität der ausgewählten Geräte, kann es länger dauern.

Tests, die auf einer beliebigen Stufe der Gerätekapazität ausgeführt werden, können aufgrund der folgenden Faktoren:

• Traffic, der sich auf die Geräteverfügbarkeit und die Testgeschwindigkeit auswirkt.
• Geräte- oder Infrastrukturausfälle, die jederzeit auftreten können. Ob für Test Lab eine Infrastruktur gemeldet wurde, sehen Sie im Firebase-Status-Dashboard.

Weitere Informationen zur Gerätekapazität in Test Lab findest du unter „Gerätekapazität“ für Android und iOS.

Warum erhalte ich nicht aussagekräftige Testergebnisse?

Nicht aussagekräftige Testergebnisse treten häufig aufgrund abgebrochener Testläufe auf oder Infrastrukturfehlern auftreten.

Infrastrukturfehler werden durch interne Test Lab-Probleme verursacht, z. B. das Netzwerk Fehler oder unerwartetes Geräteverhalten. Test Lab beendet interne Testläufe, die mehrmals zu Infrastrukturfehlern führen, bevor ein nicht eindeutiger Testbericht erstellt wird. Sie können diese Wiederholungen jedoch mit failFast deaktivieren.

So ermitteln Sie die Fehlerursache:

1. Im Firebase-Status-Dashboard können Sie nach bekannten Ausfällen suchen.

2. Wiederholen Sie den Test in Test Lab, um zu prüfen, ob er reproduzierbar ist.

3. Führen Sie den Test gegebenenfalls auf einem anderen Gerät oder Gerätetyp aus.

Wenn das Problem weiterhin besteht, wenden Sie sich an das Test Lab-Team in der #test-lab-Version aktiviert Firebase Slack

Warum wurden meine Tests durch die Fragmentierung ausgeführt? länger?

Die Fragmentierung kann dazu führen, dass Ihre Tests länger laufen, wenn die Anzahl der angegebene Anzahl überschreitet die Anzahl der Geräte, die in Test Lab verwendet werden können. Versuche, ein anderes Gerät zu verwenden, um dieses Problem zu vermeiden. Weitere Informationen zur Auswahl eines anderen Geräts, siehe Gerätekapazität.

Warum dauert es so lange, Test starten?

Wenn Sie eine Testanfrage einreichen, wird Ihre App zuerst in einem der folgenden Dienste validiert, neu signiert usw. Vorbereitung auf die Durchführung von Tests auf einem Gerät. Normalerweise wird dieser Prozess weniger als ein paar Sekunden, kann aber von Faktoren wie der

Nachdem Ihre Anwendung vorbereitet ist, werden Testausführungen geplant und bleiben in einer Warteschlange bis ein Gerät zur Ausführung bereit ist. Bis alle Testausführungen abgeschlossen sind, lautet der Matrixstatus „Ausstehend“. (unabhängig davon, ob Testausführungen in der Warteschlange oder aktiv ausgeführt wird).

Warum dauert es so lange, um den Test abzuschließen?

Nach Abschluss der Testausführung werden Testartefakte vom Gerät heruntergeladen, verarbeitet und auf Cloud Storage hochgeladen. Die Dauer dieses Schritts kann von der Menge und Größe der Artefakte beeinflusst.

Welche kostenlosen Kontingente gibt es? für Test Lab? Was kann ich tun, wenn mein Kontingent aufgebraucht ist?

Firebase Test Lab bietet kostenlose Kontingente zum Testen auf Geräten und zur Verwendung Cloud APIs Für das Testkontingent gilt das Firebase-Standard-Preismodell, die Cloud API-Kontingente jedoch nicht.

• Testkontingent

  Testkontingente richten sich nach der Anzahl der Geräte, die zum Ausführen von Tests verwendet werden. Für den Firebase Spark-Tarif gibt es ein festes Testkontingent, das für Nutzer kostenlos ist. Beim Blaze-Tarif können Ihre Kontingente erhöht werden, wenn Sie Google Cloud mit der Zeit stärker nutzen. Wenn Sie Ihr Testkontingent erreicht haben, warten Sie bis zum nächsten Tag oder führen Sie ein Upgrade auf den Tarif „Blaze“ durch, wenn Sie derzeit den Tarif „Spark“ nutzen. Wenn Sie bereits den Tarif „Blaze“ nutzen, können Sie eine Kontingenterhöhung anfordern. Weitere Informationen finden Sie unter Testkontingent.

  Sie können die Nutzung Ihrer Testkontingente in der Google Cloud-Konsole überwachen.

• Cloud Testing API-Kontingent

  Die Cloud Testing API hat zwei Kontingentlimits: Anfragen pro Tag und pro Projekt sowie Anfragen pro 100 Sekunden und pro Projekt. Sie können Ihre Nutzung in der Google Cloud-Konsole.

• Kontingent für die Cloud Tool Results API

  Für die Cloud Tool Results API gelten zwei Kontingentlimits: Abfragen pro Tag und und Abfragen alle 100 Sekunden und Projekt. Sie können Ihre Nutzung in der Google Cloud-Konsole.

  Weitere Informationen zu API-Limits finden Sie unter Cloud API-Kontingente für Test Lab. Wenn Sie das API-Kontingent erreicht haben:

  • Höhere Kontingente beantragen bis zum Kontingente bearbeiten in der Google Cloud-Konsole öffnen. Die meisten Limits sind auf „Maximum“) oder

  • Höhere API-Kontingente können Sie anfordern, indem Sie ein Anfrageformular in der Google Cloud-Konsole oder indem Sie sich an Firebase-Support.

Wie finde ich heraus, ob das kommt Traffic, der mein Backend erreicht, von Test Lab?

Über das Backend können Sie feststellen, ob der Traffic von Firebase stammt, um Geräte zu testen, indem Sie die Quell-IP-Adresse mit der IP-Bereiche:

Funktioniert Test Lab mit VPC-SC?

Test Lab funktioniert nicht mit VPC-SC, was das Kopieren von Apps und anderen Testartefakten zwischen dem internen Speicher von Test Lab und den Ergebnis-Buckets der Nutzer blockiert.

Wie erkenne ich fehlerhafte Tests in Test Lab?

Um in Ihren Tests fehlerhaftes Verhalten zu erkennen, empfehlen wir die Option --num-flaky-test-attempts . Wiederholte Ausführungen werden genauso abgerechnet wie normale Testausführungen durchführen.

Beachten Sie Folgendes:

• Wenn ein Fehler erkannt wird, wird die gesamte Testausführung noch einmal ausgeführt. Es gibt keine nur die Wiederholung fehlgeschlagener Testläufe.
• Deflake-Wiederholungsausführungen werden zur selben Zeit geplant, aber nicht die garantiert parallel ausgeführt wird, z. B. wenn der Traffic die Anzahl der verfügbaren Geräten.

Unterstützt Test Lab Appium, Flutter/FlutterDriver, ReactNative/Jest oder Cucumber?

Obwohl sich einige dieser Punkte in unserer Roadmap befinden, können wir derzeit keine diese Plattformen für Tests und App-Entwicklung unterstützen.

Wo finde ich Gerätedetails, wie z. B. Auflösung usw.?

Detaillierte Geräteinformationen sind über die API verfügbar und können über den gcloud-Client mit dem Befehl „describe“ abgerufen werden:

gcloud firebase test ios models describe MODEL

Kann ich bei iOS-Tests die Fragmentierung verwenden?

Die Fragmentierung wird in Test Lab für iOS nativ nicht unterstützt. Sie können jedoch Flank-Client verwenden, um iOS-Testfälle zu fragmentieren

Dazu werden OnlyTestIdentifiers-Schlüssel und -Werte in der Datei .xctestrun festgelegt. Weitere Informationen zu xcodebuild.xctestrun findest du auf der Seite man.

Anmelde-Captchas

Robotests können keine Anmeldebildschirme umgehen, für die neben der Eingabe von Anmeldedaten noch eine zusätzliche Nutzeraktion erforderlich ist, z. B. das Ausfüllen eines CAPTCHAs.

Unterstützung für UI-Frameworks

Robo-Tests funktionieren am besten mit Apps, die UI-Elemente aus dem Android-UI-Framework verwenden (einschließlich View-, ViewGroup- und WebView-Objekte). Wenn Sie den Robo-Test zum Trainieren von Apps verwenden, die andere UI verwenden einschließlich Apps, die die Unity-Spiel-Engine nutzen, wird der Test möglicherweise beendet. ohne den ersten Bildschirm zu erkunden.