Check out what’s new from Firebase@ Google I/O 2021, and join our alpha program for early access to the new Remote Config personalization feature. Learn more

Erste Schritte mit Game Loop-Tests

Es kann schwierig sein, Spieletests zu automatisieren, wenn Spiele-Apps auf verschiedenen UI-Frameworks erstellt werden. Mit Game Loop-Tests können Sie Ihre nativen Tests in Test Lab integrieren und sie einfach auf von Ihnen ausgewählten Geräten ausführen. Ein Game Loop-Test führt Ihren Test durch Ihre Spiele-App und simuliert dabei die Aktionen eines echten Spielers. In dieser Anleitung erfahren Sie, wie Sie einen Game Loop-Test durchführen und dann Ihre Testergebnisse in der Firebase-Konsole anzeigen und verwalten.

Abhängig von Ihrer Spiel-Engine können Sie Tests mit einer oder mehreren Schleifen implementieren. Eine Schleife ist ein vollständiger oder teilweiser Durchlauf Ihres Tests in Ihrer Spiele-App. Spielschleifen können verwendet werden, um:

  • Führen Sie ein Level Ihres Spiels so aus, wie es ein Endbenutzer spielen würde. Sie können entweder die Eingabe des Benutzers skripten, den Benutzer inaktiv lassen oder den Benutzer durch eine KI ersetzen, wenn dies in Ihrem Spiel sinnvoll ist (z. B. Sie haben eine Rennwagen-Spiele-App und haben bereits eine KI implementiert. Sie können einfach einen KI-Treiber für die Eingaben des Benutzers festlegen).
  • Führen Sie Ihr Spiel mit der höchsten Qualitätseinstellung aus, um zu sehen, ob Geräte dies unterstützen.
  • Führen Sie einen technischen Test durch (kompilieren Sie mehrere Shader, führen Sie sie aus, überprüfen Sie, ob die Ausgabe wie erwartet ist usw.).

Sie können einen Game Loop-Test auf einem einzelnen Testgerät, einer Reihe von Testgeräten oder im Testlabor ausführen. Wir empfehlen jedoch nicht, Game Loop-Tests auf virtuellen Geräten auszuführen, da diese niedrigere Grafik-Frameraten aufweisen als physische Geräte.

Bevor Sie beginnen

Um einen Test zu implementieren, müssen Sie Ihre App zunächst für Game Loop-Tests konfigurieren.

  1. Fügen Sie in Ihrem App-Manifest Ihrer Aktivität einen neuen Intent-Filter hinzu:

    <activity android:name=".MyActivity">
       <intent-filter>
           <action android:name="com.google.intent.action.TEST_LOOP"/>
           <category android:name="android.intent.category.DEFAULT"/>
           <data android:mimeType="application/javascript"/>
       </intent-filter>
       <intent-filter>
          ... (other intent filters here)
       </intent-filter>
    </activity>
    

    Auf diese Weise kann Test Lab Ihr Spiel starten, indem es mit einer bestimmten Absicht ausgelöst wird.

  2. onCreate in Ihrem Code (wir empfehlen in der onCreate Methodendeklaration) Folgendes hinzu:

    Java

    Intent launchIntent = getIntent();
    if(launchIntent.getAction().equals("com.google.intent.action.TEST_LOOP")) {
        int scenario = launchIntent.getIntExtra("scenario", 0);
        // Code to handle your game loop here
    }

    Kotlin+KTX

    val launchIntent = intent
    if (launchIntent.action == "com.google.intent.action.TEST_LOOP") {
        val scenario = launchIntent.getIntExtra("scenario", 0)
        // Code to handle your game loop here
    }

    Auf diese Weise kann Ihre Aktivität den Intent überprüfen, der sie startet. Sie können diesen Code auch später hinzufügen, wenn Sie es vorziehen (zB nach dem ersten Laden Ihrer Spiel-Engine).

  3. Empfehlung: Fügen Sie am Ende des Tests hinzu:

    Java

    yourActivity.finish();

    Kotlin+KTX

    yourActivity.finish()

    Dadurch wird Ihre App geschlossen, wenn der Game Loop-Test abgeschlossen ist. Der Test verlässt sich auf das UI-Framework Ihrer App, um die nächste Schleife zu starten, und das Schließen Ihrer App teilt ihr mit, dass der Test abgeschlossen ist.

Erstellen und Ausführen eines Game Loop-Tests

Nachdem Sie Ihre App für Game Loop-Tests konfiguriert haben, können Sie sofort einen Test erstellen und in Ihrer Spiele-App ausführen. Sie können einen Test in Test Lab entweder über die Firebase-Konsole oder die gcloud-Befehlszeilenschnittstelle (CLI) oder auf einem lokalen Gerät mit dem Test Loop Manager ausführen .

Auf einem lokalen Gerät ausführen

Der Test Loop Manager von Test Lab ist eine Open-Source-App, mit der Sie Game Loop-Tests integrieren und auf Ihren lokalen Geräten ausführen können. Außerdem kann Ihr Qualitätssicherungsteam dieselben Spielschleifen auf seinen Geräten ausführen.

So führen Sie einen Test auf einem lokalen Gerät mit dem Test Loop Manager aus:

  1. Laden Sie den Test Loop Manager auf ein Telefon oder Tablet herunter und installieren Sie ihn, indem Sie Folgendes ausführen:
    adb install testloopmanager.apk
  2. Öffnen Sie auf Ihrem Gerät die App Test Loop Apps auf Ihrem Telefon oder Tablet. Die App zeigt eine Liste von Apps auf Ihrem Gerät an, die mit Spielschleifen ausgeführt werden können. Wenn Ihre Gaming-App hier nicht angezeigt wird, stellen Sie sicher, dass Ihr Intent-Filter mit dem im ersten Schritt des Abschnitts Bevor Sie beginnen beschrieben übereinstimmt.
  3. Wählen Sie Ihre Gaming-App und dann die Anzahl der Loops aus, die Sie ausführen möchten. Hinweis: In diesem Schritt können Sie eine Teilmenge von Schleifen statt nur einer Schleife ausführen. Weitere Informationen zum gleichzeitigen Ausführen mehrerer Schleifen finden Sie unter Optionale Funktionen.
  4. Klicken Sie auf Test ausführen. Ihr Test wird sofort ausgeführt.

Im Testlabor ausführen

Sie können einen Game Loop-Test in Test Lab entweder über die Firebase-Konsole oder die gcloud-Befehlszeile ausführen. Bevor Sie beginnen, öffnen Sie, falls noch nicht geschehen , die Firebase-Konsole und erstellen Sie ein Projekt.

Verwenden der Firebase-Konsole

  1. Klicken Sie in der Firebase-Konsole im linken Bereich auf Test Lab .
  2. Klicken Sie auf „Ersten Test ausführen“ (oder auf „ Test ausführen“, wenn Ihr Projekt zuvor einen Test ausgeführt hat).
  3. Wählen Sie als Testtyp Game Loop aus und klicken Sie dann auf Weiter .
  4. Klicken Sie auf Durchsuchen und .apk Sie dann zur .apk Datei Ihrer App. Hinweis: In diesem Schritt können Sie eine Teilmenge von Schleifen statt nur einer Schleife ausführen. Weitere Informationen zum gleichzeitigen Ausführen mehrerer Schleifen finden Sie unter Optionale Funktionen.
  5. Klicken Sie auf Weiter .
  6. Wählen Sie die physischen Geräte aus, die Sie zum Testen Ihrer App verwenden möchten.
  7. Klicken Sie auf Tests starten .

Weitere Informationen zu den ersten Schritten mit der Firebase-Konsole finden Sie unter Testen mit der Firebase-Konsole starten.

Verwenden der gcloud-Befehlszeile (CLI)

  1. Falls noch nicht geschehen, laden Sie das Google Cloud SDK herunter und installieren Sie es .

  2. Melden Sie sich mit Ihrem Google-Konto bei der gcloud-CLI an:

    gcloud auth login

  3. Legen Sie Ihr Firebase-Projekt in gcloud fest, wobei PROJECT_ID die ID Ihres Firebase-Projekts ist:

    gcloud config set project PROJECT_ID
    
  4. Führen Sie Ihren ersten Test durch:

    gcloud firebase test android run \
     --type=game-loop --app=<var>path-to-apk</var> \
     --device model=herolte,version=23
    

Weitere Informationen zu den ersten Schritten mit der gcloud-Befehlszeile finden Sie unter Testen über die gcloud-Befehlszeile starten.

Optionale Funktionen

Test Lab bietet mehrere optionale Funktionen, mit denen Sie Ihre Tests weiter anpassen können, einschließlich der Möglichkeit, Ausgabedaten zu schreiben, Unterstützung für mehrere Spielschleifen und Beschriftungen für verwandte Schleifen.

Ausgabedaten schreiben

Ihr Game Loop-Test kann die Ausgabe in eine Datei schreiben, die in der Methode launchIntent.getData() ist. Nachdem Sie einen Test ausgeführt haben, können Sie im Abschnitt Test Lab der Firebase-Konsole auf diese Ausgabedaten zugreifen (siehe Beispiel für eine Game Loop-Testausgabedatei ).

Test Lab folgt den Best Practices für die Freigabe einer Datei zwischen Apps, die unter Freigeben einer Datei beschrieben wird . In der onCreate() Methode Ihrer Aktivität, in der sich Ihr Intent befindet, können Sie Ihre Datenausgabedatei überprüfen, indem Sie den folgenden Code ausführen:

Java

Intent launchIntent = getIntent();
Uri logFile = launchIntent.getData();
if (logFile != null) {
    Log.i(TAG, "Log file " + logFile.getEncodedPath());
    // ...
}

Kotlin+KTX

val launchIntent = intent
val logFile = launchIntent.data
logFile?.let {
    Log.i(TAG, "Log file ${it.encodedPath}")
    // ...
}

Wenn Sie von der C++-Seite Ihrer Spiele-App in die Datei schreiben möchten, können Sie den Dateideskriptor anstelle des Dateipfads übergeben:

Java

Intent launchIntent = getIntent();
Uri logFile = launchIntent.getData();
int fd = -1;
if (logFile != null) {
    Log.i(TAG, "Log file " + logFile.getEncodedPath());
    try {
        fd = getContentResolver()
                .openAssetFileDescriptor(logFile, "w")
                .getParcelFileDescriptor()
                .getFd();
    } catch (FileNotFoundException e) {
        e.printStackTrace();
        fd = -1;
    } catch (NullPointerException e) {
        e.printStackTrace();
        fd = -1;
    }
}

// C++ code invoked here.
// native_function(fd);

Kotlin+KTX

val launchIntent = intent
val logFile = launchIntent.data
var fd = -1
logFile?.let {
    Log.i(TAG, "Log file ${it.encodedPath}")
    fd = try {
        contentResolver
                .openAssetFileDescriptor(logFile, "w")!!
                .parcelFileDescriptor
                .fd
    } catch (e: FileNotFoundException) {
        e.printStackTrace()
        -1
    } catch (e: NullPointerException) {
        e.printStackTrace()
        -1
    }
}

// C++ code invoked here.
// native_function(fd);

C++

#include <unistd.h>
JNIEXPORT void JNICALL
Java_my_package_name_MyActivity_native_function(JNIEnv *env, jclass type, jint log_file_descriptor) {
// The file descriptor needs to be duplicated.
int my_file_descriptor = dup(log_file_descriptor);
}

Beispiel einer Ausgabedatei file

Sie können die Ausgabe - Datendateien (formatiert wie das Beispiel unten) Anzeige Spielschleife Testergebnisse im Test Lab Abschnitt der Firebase - Konsole verwenden. Bereiche, die als /.../ können alle benutzerdefinierten Felder enthalten, die Sie benötigen, solange sie nicht mit den Namen anderer Felder in dieser Datei in Konflikt stehen:

{
  "name": "test name",
  "start_timestamp": 0, // Timestamp of the test start (in us).
                           Can be absolute or relative
  "driver_info": "...",
  "frame_stats": [
    {
      "timestamp": 1200000, // Timestamp at which this section was written
                               It contains value regarding the period
                               start_timestamp(0) -> this timestamp (1200000 us)
      "avg_frame_time": 15320, // Average time to render a frame in ns
      "nb_swap": 52, // Number of frame rendered
      "threads": [
        {
          "name": "physics",
          "Avg_time": 8030 // Average time spent in this thread per frame in us
        },
        {
          "name": "AI",
          "Avg_time": 2030 // Average time spent in this thread per frame in us
        }
      ],
      /.../ // Any custom field you want (vertices display on the screen, nb units …)
    },
    {
      // Next frame data here, same format as above
    }
  ],
  "loading_stats": [
    {
      "name": "assets_level_1",
      "total_time": 7850, // in us
      /.../
    },
    {
      "name": "victory_screen",
      "total_time": 554, // in us
      /.../
    }

  ],
  /.../, // You can add custom fields here
}

Mehrere Spielschleifen

Es kann hilfreich sein, mehrere Spielschleifen in Ihrer App auszuführen. Eine Schleife ist ein vollständiger Durchlauf Ihrer Spiele-App von Anfang bis Ende. Wenn Sie beispielsweise mehrere Level in Ihrem Spiel haben, möchten Sie vielleicht eine Spielschleife haben, um jedes Level zu starten, anstatt eine Schleife zu haben, die alle durchläuft. Auf diese Weise können Sie, wenn Ihre App auf Level 32 abstürzt, diese Spielschleife direkt starten, um den Absturz zu reproduzieren und Fehlerbehebungen zu testen.

So aktivieren Sie Ihre App zum gleichzeitigen Ausführen mehrerer Schleifen:

  • Wenn Sie einen Test mit dem Test Loop Manager ausführen:

    1. Fügen Sie dem Manifest Ihrer App im Element <application> die folgende Zeile hinzu:

      <meta-data
        android:name="com.google.test.loops"
        android:value="5" />
      

      Diese Startabsicht enthält die Zielschleife als ganzzahligen Parameter. Im Feld android:value können Sie eine ganze Zahl von 1 bis 1024 angeben (die maximale Anzahl von Schleifen, die für einen einzelnen Test zulässig sind). Beachten Sie, dass Schleifen bei 1 beginnend indiziert werden, nicht bei 0.

    2. In der Test Loop Manager App erscheint ein Auswahlbildschirm, in dem Sie auswählen können, welche Schleife(n) Sie ausführen möchten. Wenn Sie mehrere Schleifen auswählen, wird jede Schleife der Reihe nach gestartet, nachdem die vorherige Schleife abgeschlossen ist.

  • Wenn Sie einen Test mit der Firebase-Konsole ausführen, geben Sie eine Liste oder einen Bereich von Schleifennummern in das Feld Szenarien ein.

  • Wenn Sie einen Test mit der gcloud-CLI ausführen, geben Sie mithilfe des --scenario-numbers eine Liste mit Schleifennummern an. --scenario-numbers=1,3,5 führt beispielsweise die Schleifen 1, 3 und 5 aus.

  • Wenn Sie C++ schreiben und das Verhalten Ihrer Schleife ändern möchten, übergeben Sie das folgende Extra an Ihren nativen C++-Code:

    Java

    Intent launchIntent = getIntent();
    int scenario = launchIntent.getIntExtra("scenario", 0);

    Kotlin+KTX

    val launchIntent = intent
    val scenario = launchIntent.getIntExtra("scenario", 0)

    Sie können jetzt das Verhalten Ihrer Schleife basierend auf dem resultierenden int Wert ändern.

Spielschleifen beschriften

Wenn Sie Ihre Spielschleifen mit einem oder mehreren Szenario-Labels beschriften, können Sie und Ihr QA-Team problemlos eine Reihe verwandter Spielschleifen (z. B. "alle Kompatibilitätsspielschleifen") starten und in einer einzigen Matrix testen. Sie können Ihre eigenen Etiketten erstellen oder die von Test Lab angebotenen vordefinierten Etiketten verwenden:

  • com.google.test.loops.player_experience : For-Schleifen, die verwendet werden, um die Erfahrung eines echten Benutzers beim Spielen des Spiels zu reproduzieren. Das Ziel des Tests mit diesen Schleifen besteht darin, Probleme zu finden, mit denen ein echter Benutzer beim Spielen des Spiels konfrontiert wäre.
  • com.google.test.loops.gpu_compatibility : Für Schleifen, die zum Testen von GPU-bezogenen Problemen verwendet werden. Das Ziel des Tests mit diesen Schleifen besteht darin, GPU-Code auszuführen, der in der Produktion möglicherweise nicht ordnungsgemäß ausgeführt wird, um Probleme mit Hardware und Treibern aufzudecken.
  • com.google.test.loops.compatibility : For-Schleifen zum Testen einer Vielzahl von Kompatibilitätsproblemen, einschließlich E/A-Problemen und OpenSSL-Problemen.
  • com.google.test.loops.performance : Für Schleifen, die zum Testen der Leistung des Geräts verwendet werden. Beispielsweise kann ein Spiel mit den komplexesten Grafikeinstellungen ausgeführt werden, um zu sehen, wie sich ein neues Gerät verhält.

So aktivieren Sie Ihre App zum Ausführen von Schleifen mit demselben Label:

  • Wenn Sie einen Test mit dem Test Loop Manager ausführen:

    1. LABEL_NAME Sie im Manifest Ihrer App die folgende Metadatenzeile hinzu und ersetzen Sie LABEL_NAME durch ein Label Ihrer Wahl:

      <meta-data
       android:name="com.google.test.loops.LABEL_NAME"
       android:value="1,3-5" />
      

      Im android:value Feld können Sie einen Bereich oder eine Reihe von Ganzzahlen von 1 bis 1024 (die maximale Anzahl von Schleifen, die für einen einzelnen Test zulässig sind) angeben, die die zu beschriftenden Schleifen darstellen. Beachten Sie, dass Schleifen beginnend bei 1 und nicht bei 0 indiziert werden. Zum Beispiel wendet android:value="1,3-5" LABEL_NAME auf die Schleifen 1, 3, 4 und 5 an.

    2. Geben Sie in der App Test Loop Manager eine oder mehrere Beschriftungen in das Feld Beschriftungen ein.

  • Wenn Sie einen Test mit der Firebase Console ausführen, geben Sie ein oder mehrere Labels in das Feld Labels ein.

  • Wenn Sie einen Test mit der gcloud-CLI ausführen, geben Sie mithilfe des --scenario-labels ein oder mehrere Szenariolabels an (z. B. --scenario-labels=performance,gpu ).

Unterstützung bei der App-Lizenzierung

Test Lab unterstützt Apps, die den App-Lizenzierungsdienst von Google Play verwenden. Um die Lizenzierung beim Testen Ihrer App mit Test Lab erfolgreich zu überprüfen, müssen Sie Ihre App im Produktionskanal im Play Store veröffentlichen. Um Ihre App im Alpha- oder Betakanal mit Test Lab zu testen, entfernen Sie die Lizenzprüfung, bevor Sie Ihre App in Test Lab hochladen.

Bekannte Probleme

Bei Game Loop-Tests in Test Lab treten die folgenden bekannten Probleme auf:

  • Einige Abstürze unterstützen keine Backtraces. Beispielsweise können einige Release-Builds die Ausgabe des debuggerd Prozesses mit prctl(PR_SET_DUMPABLE, 0) unterdrücken. Weitere debuggerd Sie unter debuggerd .
  • API Level 19 wird derzeit aufgrund von Dateiberechtigungsfehlern nicht unterstützt.