Testen Sie mit der gcloud-CLI

In dieser Anleitung wird beschrieben, wie Sie einen XCTest- oder Game Loop-Test mit der gcloud-Befehlszeilenschnittstelle ausführen.

Schritt 1 : Konfigurieren Sie Ihre lokale Google Cloud SDK-Umgebung

  1. Laden Sie das Google Cloud-SDK herunter.
  2. Dazu gehört das CLI-Tool gcloud.

  3. Stellen Sie sicher, dass Ihre Installation auf dem neuesten Stand ist und den gcloud firebase -Befehl enthält:
          gcloud components update
  4. Melden Sie sich mit Ihrem Google-Konto bei der gcloud-Befehlszeilenschnittstelle an:
          gcloud auth login
  5. Legen Sie Ihr Firebase-Projekt in gcloud fest, wobei PROJECT_ID die ID Ihres Firebase-Projekts ist:
         gcloud config set project PROJECT_ID

Schritt 2 : Führen Sie Ihren Test durch

Führen Sie einen XCTest durch

  1. Laden Sie die .zip-Datei Ihres Tests hoch, indem Sie den folgenden Befehl ausführen (wenn Sie Ihre App noch nicht gepackt haben, siehe Packen Ihres XCTest ):

    cd FOLDER_WITH_TEST_OUTPUT/Build/Products ; \
    zip -r MyTests.zip Debug-iphoneos YOUR_SCHEME_iphoneosDEPLOYMENT_TARGET-arm64.xctestrun
  2. Wählen Sie Ihre Testdimensionen.

    Mit Test Lab können Sie Tests auf einer Vielzahl von iOS-Versionen, Geräten, Bildschirmausrichtungen und Gebietsschemata ausführen. Diese Konfigurationen werden als Testdimensionen des Tests bezeichnet. Um die Optionen für jede Dimension anzuzeigen (z. B. unterstützte Xcode-Versionen für die iOS-Version des Geräts), ersetzen Sie im folgenden Befehl die dimension durch models , versions oder locales :

    gcloud firebase test ios dimension list

    Die Bildschirmausrichtung ist etwas einfacher, da die einzigen Optionen portrait und landscape sind.

    Sehen Sie sich die Liste der Testdimensionen an und wählen Sie einige Kombinationen aus, für die Sie Ihren Test durchführen möchten. Besuchen Sie Preispläne , um die maximale Anzahl an Kombinationen anzuzeigen, die Sie pro Tag ausführen können.

  3. Nachdem Sie eine Reihe von Testdimensionen ausgewählt haben, können Sie Ihre Tests von Test Lab mit dem Befehl firebase test ios run . Fügen Sie für jede Kombination von Testdimensionen, die Sie testen möchten, ein separates --device Flag ein:

    gcloud firebase test ios run --test PATH/TO/MyTests.zip \
     --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
     --device model=MODEL_ID_2,version=VERSION_ID_2,locale=LOCALE_2,orientation=ORIENTATION_2 \
     etc...

    Es ist möglich, dass Ihr Test aufgrund einer Inkompatibilität zwischen der Xcode-Version, mit der der Test erstellt wurde, und der von Test Lab verwendeten Standard-Xcode-Version fehlschlägt. Um eine unterstützte Xcode-Version für Ihren Test anzugeben, verwenden Sie das --xcode-version :

    gcloud firebase test ios run --test PATH/TO/MyTests.zip \
     --device model=MODEL_ID_1,version=VERSION_ID_1,locale=LOCALE_1,orientation=ORIENTATION_1 \
     --xcode-version=11.3

Sonderberechtigungen testen

Um Berechtigungen zu testen, die eine explizite App-ID erfordern, können Sie dies tun, indem Sie das --test-special-entitlements . Test Lab signiert die Anwendung mit einer neuen Bundle-ID neu, um spezielle Berechtigungen zu unterstützen. Stellen Sie daher bitte sicher, dass Ihre ZIP-Datei keine Ressourcen enthält, die direkte Verweise auf die Bundle-ID der App enthalten.

Mitteilungen

Zum Autorisieren von Push-Benachrichtigungsanfragen können Benutzer JSON-Webtoken erstellen, indem sie den privaten Signaturschlüssel zusammen mit der Schlüssel-ID – C7FD9DJAA8 und der Team-ID – 9CKCGNNUQN verwenden . Die generierten Token wären eine Stunde lang gültig und müssten alle 60 Minuten aktualisiert werden. Lesen Sie mehr über das Herstellen einer Token-basierten Verbindung zu APNs.

Führen Sie einen Spielschleifentest durch

Führen Sie den gcloud beta firebase test ios run und verwenden Sie die folgenden Flags, um die Ausführung zu konfigurieren:

Flags für Game Loop-Tests
--type

Erforderlich : Gibt den Typ des iOS-Tests an, den Sie ausführen möchten. Sie können die Testtypen xctest (Standard) oder game-loop eingeben.

--app

Erforderlich : Absoluter Pfad (GCS oder Dateisystem) zur IPA-Datei Ihrer App. Dieses Flag ist nur gültig, wenn Game Loop-Tests ausgeführt werden.

--scenario-numbers

Die Schleifen (auch bekannt als Szenarien), die Sie in Ihrer App ausführen möchten. Sie können eine Schleife, eine Liste oder Schleifen oder eine Reihe von Schleifen eingeben. Die Standardschleife ist 1.

Beispielsweise führt --scenario-numbers=1-3,5 die Schleifen 1, 2, 3 und 5 aus.

--device-model

Das physische Gerät, auf dem Sie Ihren Test durchführen möchten (finden Sie heraus, welche verfügbaren Geräte Sie verwenden können).

--timeout

Die maximale Dauer, die Ihr Test ausgeführt werden soll. Sie können eine ganze Zahl eingeben, um die Dauer in Sekunden darzustellen, oder eine ganze Zahl und eine Aufzählung, um die Dauer als längere Zeiteinheit darzustellen.

Beispielsweise:

  • --timeout=200 zwingt Ihren Test zum Abbruch, wenn er bis zu 200 Sekunden läuft.
  • --timeout=1h zwingt Ihren Test zum Abbruch, wenn er bis zu einer Stunde läuft.

Der folgende Befehl führt beispielsweise einen Spielschleifentest aus, der die Schleifen 1, 4, 6, 7 und 8 auf einem iPhone 8 Plus ausführt:

gcloud beta firebase test ios run
 --type game-loop --app path/to/my/App.ipa --scenario-numbers 1,4,6-8
 --device-model=iphone8plus

Weitere Informationen zur gcloud-Befehlszeilenschnittstelle finden Sie in der Referenzdokumentation .

Schritt 4 (optional) : Automatisieren Sie zukünftige Tests, die Sie erstellen

gcloud-Befehle mit Test Lab skripten

Sie können Shell-Skripts oder Batchdateien verwenden, um Befehle zum Testen mobiler Apps zu automatisieren, die Sie andernfalls über die gcloud-Befehlszeile ausführen würden. Dieses Beispiel-Bash-Skript führt einen XCTest mit einem zweiminütigen Timeout aus und meldet, ob der Testlauf erfolgreich abgeschlossen wurde:

if gcloud firebase test ios run --test MyTest.zip --timeout 2m
then
    echo "Test matrix successfully finished"
else
    echo "Test matrix exited abnormally with non-zero exit code: " $?
fi

Skript-Exit-Codes

Test Lab stellt mehrere Beendigungscodes bereit, die Sie verwenden können, um die Ergebnisse von Tests besser zu verstehen, die Sie mithilfe von Skripts oder Stapeldateien ausführen.

Exit-Code Anmerkungen
0 Alle Testausführungen bestanden.
1 Es ist ein allgemeiner Fehler aufgetreten. Mögliche Ursachen sind: ein nicht vorhandener Dateiname oder ein HTTP-/Netzwerkfehler.
2 Der Test wurde beendet, weil unbekannte Befehle oder Argumente bereitgestellt wurden.
10 Ein oder mehrere Testfälle (getestete Klassen oder Klassenmethoden) innerhalb einer Testausführung wurden nicht bestanden.
fünfzehn Firebase Test Lab konnte aufgrund eines unerwarteten Fehlers nicht feststellen, ob die Testmatrix erfolgreich war oder nicht.
19 Die Testmatrix wurde vom Benutzer abgebrochen.
20 Ein Testinfrastrukturfehler ist aufgetreten.

Schritt 5 : Untersuchen Sie die Testergebnisse

Wenn der Test beginnt, erhalten Sie einen Link zur Seite Testergebnisse . Die Ausführung von Tests kann einige Minuten dauern, abhängig von der Anzahl der verschiedenen Konfigurationen, die Sie ausgewählt haben, und der Test-Timeout-Dauer, die für Ihre Tests festgelegt wurde. Nachdem Ihre Tests ausgeführt wurden, können Sie die Testergebnisse überprüfen. Weitere Informationen zur Interpretation Ihrer Testergebnisse finden Sie unter Analysieren der Firebase- Testlaborergebnisse.

Nächster Schritt

Lesen Sie die Google Cloud SDK-Dokumentation, um Testoptionen zu erkunden, die allgemein verfügbar sind oder sich in der Betaphase befinden .