Pierwsze kroki z testami pętli gry

Automatyzowanie testowania gier może być trudne, jeśli gry mobilne są oparte na różnych Struktura interfejsu. Testy Game Loop umożliwiają integrację natywnych testów z Test Lab i łatwe ich uruchamianie na wybranych urządzeniach. Test pętli gry spowoduje uruchomienie przeprowadzać testy w grze, symulując działania prawdziwego gracza. Z tego przewodnika dowiesz się, jak uruchomić test Game Loop, a potem wyświetlić wyniki testu i nimi zarządzać w konsoli Firebase.

W zależności od silnika gry możesz wdrożyć testy obejmujące jeden lub wiele testów w pętlach. pętla to pełne lub częściowe omówienie testu; w grze mobilnej. Pętle gry mogą:

  • Poziom gry możesz uruchamiać tak samo jak inne osoby. Dostępne opcje albo skrypt wejściowy użytkownika, pozostawienie użytkownikowi nieaktywności lub zastąpienie elementu użytkownik z AI, jeśli ma to sens w Twojej grze (np.gdy masz samochód wyścigowy). gra mobilna i masz już wdrożoną AI. Możesz łatwo powierzyć sterowanie AI podając dane użytkownika).
  • Uruchom grę w najwyższej jakości, aby sprawdzić, czy jest ona obsługiwana przez urządzenia.
  • Przeprowadź test techniczny (skompiluj, uruchom i uruchom wiele programów do cieniowania, sprawdź, czy dane wyjściowe są zgodne z oczekiwaniami itd.).

Test pętli gry możesz przeprowadzić na jednym urządzeniu testowym, na zestawie urządzeń testowych lub na Test Lab. Nie zalecamy jednak przeprowadzania testów pętli gry na urządzeniach wirtualnych. ponieważ mają mniejszą liczbę klatek na sekundę niż urządzenia fizyczne.

Zanim zaczniesz

Aby wdrożyć test, musisz najpierw skonfigurować aplikację do testów pętli gry.

  1. W pliku manifestu aplikacji dodaj nowy filtr intencji do aktywności:

    <activity android:name=".MyActivity">
   <intent-filter>
       <action android:name="com.google.intent.action.TEST_LOOP"/>
       <category android:name="android.intent.category.DEFAULT"/>
       <data android:mimeType="application/javascript"/>
   </intent-filter>
   <intent-filter>
      ... (other intent filters here)
   </intent-filter>
</activity>

    Dzięki temu Test Lab może uruchomić Twoją grę, wywołując ją za pomocą określonego zamiaru.

  2. W kodzie (zalecamy to w deklaracji metody onCreate) dodaj :

    Kotlin+KTX 

    val launchIntent = intent
if (launchIntent.action == "com.google.intent.action.TEST_LOOP") {
    val scenario = launchIntent.getIntExtra("scenario", 0)
    // Code to handle your game loop here
}
    MainActivity.kt

    Java 

    Intent launchIntent = getIntent();
if(launchIntent.getAction().equals("com.google.intent.action.TEST_LOOP")) {
    int scenario = launchIntent.getIntExtra("scenario", 0);
    // Code to handle your game loop here
}
    MainActivity.java

    Dzięki temu aktywność może sprawdzać intencje, które ją uruchamiają. Możesz też dodaj ten kod później, jeśli wolisz (np. po pierwszym wczytaniu gry wyszukiwarka).

  3. Zalecane: pod koniec testu dodaj:

    Kotlin+KTX 

    yourActivity.finish()
    MainActivity.kt

    Java 

    yourActivity.finish();
    MainActivity.java

    Spowoduje to zamknięcie aplikacji po zakończeniu testu Game Loop. Test korzysta z ramy UI aplikacji, aby rozpocząć następną pętlę, a jej zamknięcie sygnalizuje, że test się zakończył.

Tworzenie i przeprowadzanie testu pętli gry

Po skonfigurowaniu aplikacji na potrzeby testów Game Loop możesz od razu utworzyć test i go uruchomić w aplikacji do gier. Możesz uruchomić test w Test Lab za pomocą konsoli Firebase lub interfejsu wiersza poleceń gcloud albo na lokalnym urządzeniu za pomocą menedżera testów Game Loop.

Uruchom na urządzeniu lokalnym

Menedżer pętli testowej Test Lab to aplikacja typu open source, która pomaga integrować testy pętli gry i uruchamiać je na urządzeniach lokalnych. Pozwala też zespołowi ds. zapewniania jakości uruchamiać te same pętle gry na swoich urządzeniach.

Aby uruchomić test na urządzeniu lokalnym za pomocą Menedżera pętli testowej:

  1. Pobierz Test Loop Manager na telefonie lub tablecie i zainstaluj go, uruchamiając:
    adb install testloopmanager.apk
  2. Na urządzeniu otwórz aplikację Test Loop Apps na telefonie lub tablecie. Aplikacja wyświetla listę aplikacji na urządzeniu, które można uruchamiać w pętli gry. Jeśli nie widzisz tu swojej aplikacji do gier, sprawdź, czy filtr intencji jest zgodny z tym opisanym w pierwszym kroku sekcji Zanim zaczniesz.
  3. Wybierz grę, a następnie określ liczbę pętli. Uwaga: na tym etapie możesz uruchomić podzbiór pętli zamiast tylko jednej pętli. Więcej informacji o wykonowywaniu wielu pętli jednocześnie znajdziesz w artykule Opcjonalne funkcje.
  4. Kliknij Uruchom test. Test rozpocznie się od razu.

Uruchom w Test Lab

Test pętli gry możesz uruchomić w Test Lab przy użyciu Konsola Firebase lub interfejs wiersza poleceń gcloud. Przed Tobą w dowolnym momencie, otwórz Firebase i utwórz projekt.

Korzystanie z konsoli Firebase

  1. W konsoli Firebase kliknij Test Lab w panelu po lewej stronie.
  2. Kliknij Przeprowadź pierwszy test (lub Przeprowadź test, jeśli projekt ma wcześniej przeprowadzić test).
  3. Jako typ testu wybierz Game Loop, a potem kliknij Dalej.
  4. Kliknij Przeglądaj, a następnie przejdź do pliku .apk aplikacji. Uwaga: na tym etapie możesz uruchomić podzbiór pętli zamiast tylko jednej pętli. Więcej informacji o uruchamianiu wielu pętli jednocześnie znajdziesz w artykule Opcjonalne funkcje.
  5. Kliknij Dalej.
  6. Wybierz urządzenia fizyczne, których chcesz używać do testowania aplikacji.
  7. Kliknij Rozpocznij testy.

Więcej informacji o pierwszych krokach z konsolą Firebase znajdziesz w artykule Rozpoczęcie testowania za pomocą konsoli Firebase.

Korzystanie z wiersza poleceń gcloud

  1. Pobierz i zainstaluj pakiet Google Cloud SDK, jeśli jeszcze tego nie zrobiono.

  2. Zaloguj się w gcloud CLI za pomocą konta Google:

    gcloud auth login

  3. Skonfiguruj projekt Firebase w gcloud, gdzie PROJECT_ID to identyfikator projektu Firebase:

    gcloud config set project PROJECT_ID

  4. Przeprowadź pierwszy test:

    gcloud firebase test android run \
 --type=game-loop --app=<var>path-to-apk</var> \
 --device model=herolte,version=23
    .

Więcej informacji o pierwszych krokach z interfejsem wiersza poleceń gcloud znajdziesz w artykule Rozpoczęcie testowania za pomocą wiersza poleceń gcloud.

Funkcje opcjonalne

Test Lab oferuje kilka opcjonalnych funkcji, które pozwalają na dalsze dostosowywanie Testy, w tym możliwość zapisu danych wyjściowych, obsługa wielu gier i etykiety powiązanych pętli.

Zapisywanie danych wyjściowych

Test pętli gry może zapisywać dane wyjściowe w pliku określonym w metodzie launchIntent.getData(). Po przeprowadzeniu testu możesz uzyskać dostęp do tych elementów danych wyjściowych w sekcji Test Lab konsoli Firebase (zobacz Przykładowy plik wyjściowy pętli gry).

Test Lab stosuje się do sprawdzonych metod udostępniania plików między aplikacjami opisanych w artykule Udostępnianie plików. W metodie onCreate() aktywności, w której znajduje się Twój zamiar, możesz sprawdzić plik danych wyjściowych, uruchamiając ten kod:

Kotlin+KTX 

val launchIntent = intent
val logFile = launchIntent.data
logFile?.let {
    Log.i(TAG, "Log file ${it.encodedPath}")
    // ...
}
MainActivity.kt

Java 

Intent launchIntent = getIntent();
Uri logFile = launchIntent.getData();
if (logFile != null) {
    Log.i(TAG, "Log file " + logFile.getEncodedPath());
    // ...
}
MainActivity.java

Jeśli chcesz zapisać plik po stronie aplikacji gry w języku C++, możesz deskryptora pliku zamiast ścieżki pliku:

Kotlin+KTX 

val launchIntent = intent
val logFile = launchIntent.data
var fd = -1
logFile?.let {
    Log.i(TAG, "Log file ${it.encodedPath}")
    fd = try {
        contentResolver
            .openAssetFileDescriptor(logFile, "w")!!
            .parcelFileDescriptor
            .fd
    } catch (e: FileNotFoundException) {
        e.printStackTrace()
        -1
    } catch (e: NullPointerException) {
        e.printStackTrace()
        -1
    }
}

// C++ code invoked here.
// native_function(fd);
MainActivity.kt

Java 

Intent launchIntent = getIntent();
Uri logFile = launchIntent.getData();
int fd = -1;
if (logFile != null) {
    Log.i(TAG, "Log file " + logFile.getEncodedPath());
    try {
        fd = getContentResolver()
                .openAssetFileDescriptor(logFile, "w")
                .getParcelFileDescriptor()
                .getFd();
    } catch (FileNotFoundException e) {
        e.printStackTrace();
        fd = -1;
    } catch (NullPointerException e) {
        e.printStackTrace();
        fd = -1;
    }
}

// C++ code invoked here.
// native_function(fd);
MainActivity.java

C++

#include <unistd.h>
JNIEXPORT void JNICALL
Java_my_package_name_MyActivity_native_function(JNIEnv *env, jclass type, jint log_file_descriptor) {
// The file descriptor needs to be duplicated.
int my_file_descriptor = dup(log_file_descriptor);
}

Przykład pliku wyjściowego

Pliki danych wyjściowych (w formacie podobnym do tego w przykładzie poniżej) możesz wykorzystać do wyświetlania wyników testu pętli w sekcji Test Lab konsoli Firebase. Obszary oznaczone jako /.../ mogą zawierać dowolne potrzebne pola niestandardowe, o ile nie kolidują z nazwami innych pól używanych w tym pliku:

{
  "name": "test name",
  "start_timestamp": 0, // Timestamp of the test start (in us).
                           Can be absolute or relative
  "driver_info": "...",
  "frame_stats": [
    {
      "timestamp": 1200000, // Timestamp at which this section was written
                               It contains value regarding the period
                               start_timestamp(0) -> this timestamp (1200000 us)
      "avg_frame_time": 15320, // Average time to render a frame in ns
      "nb_swap": 52, // Number of frame rendered
      "threads": [
        {
          "name": "physics",
          "Avg_time": 8030 // Average time spent in this thread per frame in us
        },
        {
          "name": "AI",
          "Avg_time": 2030 // Average time spent in this thread per frame in us
        }
      ],
      /.../ // Any custom field you want (vertices display on the screen, nb units …)
    },
    {
      // Next frame data here, same format as above
    }
  ],
  "loading_stats": [
    {
      "name": "assets_level_1",
      "total_time": 7850, // in us
      /.../
    },
    {
      "name": "victory_screen",
      "total_time": 554, // in us
      /.../
    }

  ],
  /.../, // You can add custom fields here
}

Wiele pętli gry

Możesz uruchomić w aplikacji kilka pętli gry. Pętla to pełne przejście przez grę od początku do końca. Jeśli na przykład Jeśli gra ma wiele poziomów, warto dodać jedną pętlę, Uruchamiaj każdy poziom zamiast jednej pętli. Dzięki temu, jeśli aplikacja ulegnie awarii na poziomie 32, możesz od razu ją uruchomić. w pętli umożliwiające odtworzenie awarii i testowanie poprawek błędów.

Aby aplikacja uruchamiała kilka pętli jednocześnie:

  • Jeśli testujesz za pomocą Menedżera pętli testowej:

    1. Dodaj ten wiersz do pliku manifestu aplikacji, wewnątrz pliku Element <application>: 

      <meta-data
  android:name="com.google.test.loops"
  android:value="5" />

      Ta intencja uruchomienia zawiera pętlę docelową jako parametr liczby całkowitej. W android:value możesz podać liczbę całkowitą od 1 do 1024 maksymalnej dozwolonej liczby pętli w jednym teście). Pamiętaj, że pętle są indeksowane od 1, a nie od 0.

    2. W aplikacji Test Loop Manager pojawi się ekran wyboru, na którym możesz wybrać pętle, które chcesz uruchomić. Jeśli wybierzesz kilka opcji każda pętla jest uruchamiana w kolejności po poprzedniej pętli .

  • Jeśli przeprowadzasz test w konsoli Firebase, wpisz listę lub zakresu liczb pętli w polu Scenariusze.

  • Jeśli wykonujesz test za pomocą interfejsu wiersza poleceń gcloud, podaj listę numerów pętli za pomocą flagi --scenario-numbers. Przykład: --scenario-numbers=1,3,5 uruchamia pętle 1, 3 i 5.

  • Jeśli piszesz w C++ i chcesz zmienić działanie pętli, przekaż parametr dodatkowe funkcje do natywnego kodu C++:

    Kotlin+KTX 

    val launchIntent = intent
val scenario = launchIntent.getIntExtra("scenario", 0)
    MainActivity.kt

    Java 

    Intent launchIntent = getIntent();
int scenario = launchIntent.getIntExtra("scenario", 0);
    MainActivity.java

    Możesz teraz zmienić działanie pętli na podstawie wynikowej int .

Oznacz pętle gry

Gdy oznaczysz pętle gry co najmniej 1 etykietą scenariusza, Ty i Twój zespół ds. kontroli jakości będziecie mogli łatwo uruchomić zestaw powiązanych pętli gry (np. „cała zgodność pętle gry”) i testuj je w ramach jednej macierzy. Możesz tworzyć własne etykiety lub używać wstępnie zdefiniowanych etykiet oferowanych przez Test Lab:

  • com.google.test.loops.player_experience: dla pętli używanych do i odtwarzać wrażenia rzeczywistego użytkownika podczas gry. Celem testowania za pomocą tych pętli jest znalezienie problemów, które mogą wystąpić w trakcie grania w grę przez prawdziwego użytkownika.
  • com.google.test.loops.gpu_compatibility: na potrzeby pętli używanych do testowania. Problemy z GPU. Testowanie z użyciem tych pętli ma na celu wykonanie GPU który może nie działać prawidłowo w środowisku produkcyjnym, co pozwoliłoby na oraz sterowników.
  • com.google.test.loops.compatibility: w przypadku pętli używanych do testowania szeroki zakres problemów ze zgodnością, w tym problemy I/O i OpenSSL problemów.
  • com.google.test.loops.performance: pętle for służące do testowania wydajności urządzenia. Na przykład gra może działać z najbardziej złożonymi ustawieniami grafiki, aby sprawdzić, jak zachowuje się nowe urządzenie.

Aby umożliwić aplikacji uruchamianie pętli z tą samą etykietą:

  • Jeśli przeprowadzasz test za pomocą menedżera pętli testowej:

    1. W pliku manifestu aplikacji dodaj ten wiersz metadanych, zastępując LABEL_NAME wybraną etykietą:

      <meta-data
 android:name="com.google.test.loops.LABEL_NAME"
 android:value="1,3-5" />

      W polu android:value możesz określić zakres lub zbiór liczb całkowitych od 1 do 1024 (maksymalną liczbę pętli dopuszczalnych w jednym teście), która wskazują pętle, które chcesz oznaczyć etykietą. Pamiętaj, że pętle są indeksowane od od 1, a nie od 0. Na przykład reguła android:value="1,3-5" ma zastosowanie do pętli 1, 3, 4 i 5.

    2. W aplikacji Test Loop Manager wpisz co najmniej 1 etykietę w polu Etykiety.

  • Jeśli testujesz konsolę Firebase, wpisz co najmniej 1 etykietę w polu Etykiety.

  • Jeśli testujesz za pomocą interfejsu wiersza poleceń gcloud, określ co najmniej jedną etykietę scenariusza za pomocą flagi --scenario-labels (np. --scenario-labels=performance,gpu).

Pomoc dotycząca licencjonowania aplikacji

Test Lab obsługuje aplikacje, które korzystają z: Licencjonowanie aplikacji usłudze oferowanej przez Google Play. Aby sprawdzić licencjonowanie podczas testowania aplikacji za pomocą Test Lab, musisz opublikować ją na produkcyjnym kanale w Sklepie Play. Aby przetestować aplikację w wersji alfa lub beta, użyj Test Lab, przed przesłaniem aplikacji do usługi usuń weryfikację licencjonowania Test Lab

Znane problemy

W testach pętli gry w Test Lab występują te znane problemy:

  • Niektóre awarie nie obsługują ścieżek wstecz. Na przykład niektóre kompilacje wersji mogą blokuj dane wyjściowe procesu debuggerd za pomocą funkcji prctl(PR_SET_DUMPABLE, 0) Więcej informacji znajdziesz w artykule debuggerd.
  • Poziom interfejsu API 19 nie jest obecnie obsługiwany z powodu błędów uprawnień do pliku.