Analizuj wyniki laboratorium testowego Firebase

Istnieje wiele sposobów wykorzystania Firebase laboratorium testowego, aby uruchomić testy na Androida, w tym interfejs wiersza poleceń , Android Studio , The Test Lab UI w konsoli Firebase oraz API Testing . Niezależnie od tego, jak zdecydujesz się rozpocząć testy, wyniki będą przechowywane w określonym przez Ciebie projekcie Firebase. Można badać rezultaty używając ToolResults API oprócz któregokolwiek z powyższych narzędzi. Na tej stronie opisano, jak przeglądać i analizować wyniki tych testów.

Kluczowe idee

Aby zobaczyć wyniki ze wszystkich poprzednich przebiegów testowych, wybierz laboratorium testowego w lewym panelu nawigacyjnym projektu w konsoli Firebase. Na tej stronie są wyświetlane wszystkie uruchomienia testów z aplikacji, które przetestowałeś w swoim projekcie za pomocą Test Lab.

Aby przejrzeć wyniki testów, musisz najpierw zrozumieć trzy pojęcia:

Po uruchomieniu testu lub zestawu przypadków testowych przed urządzeniami i konfiguracjach już wybranych, The Test Lab uruchamia testy przed aplikacją w partii, a następnie wyświetla wyniki jako matryca testowym.

Urządzenia × Wykonywanie testów = Matryca testowa

Urządzenie
Urządzenie fizyczne lub wirtualne (tylko Android), na którym przeprowadzasz test, takie jak telefon, tablet lub urządzenie do noszenia. Urządzenia w macierzy testowej są identyfikowane według modelu urządzenia, wersji systemu operacyjnego, orientacji ekranu i ustawień regionalnych (znanych również jako ustawienia geograficzne i językowe).
Test, wykonanie testu
Test (lub zestaw przypadków testowych) do uruchomienia na urządzeniu. Możesz uruchomić jeden test na urządzenie lub opcjonalnie podzielić test i uruchomić jego przypadki testowe na różnych urządzeniach.
Matryca testowa
Zawiera statusy i wyniki testów dla wykonań testów. Jeśli wykonanie dowolnego testu w macierzy nie powiedzie się, nie powiedzie się cała macierz.

Poniższe sekcje wyjaśniają, jak poruszać się po wynikach testów.

Interpretuj wyniki historii testów

Po przejściu do wyników badań wybierając laboratorium testowego, widać wyniki testów uruchomionych do tej pory.

Historia testów jest pogrupowana według aplikacji. Dla każdej aplikacji wyświetlanych jest tylko pięć najnowszych macierzy testowych; jeśli więcej są dostępne, możesz kliknąć odnośnik Wszystkie macierze na dole listy aplikacji testowej, aby zobaczyć pełną listę dla tej aplikacji.

Zinterpretuj wyniki macierzy testowej

Kiedy rozpoczęciem badania przez Test Lab UI , zostanie przekierowany do strony, na której można zobaczyć swój matrycy testowej i kliknij konkretną wykonanie testu, aby zobaczyć wyniki testu. Android Studio i komenda gcloud dostarczyć adres URL strony z wynikami testu matrix, jak również.

W typowej macierzy testowej można przeprowadzić test na kilkunastu różnych urządzeniach. Każde wykonanie testu może mieć inny wynik. Możliwe wyniki wykonania dowolnego testu w macierzy testów obejmują:

  • PrzeszedłTest zaliczony : Nie napotkano błędów.
  • NieudaneTest nieudany : Napotkano co najmniej jedną awarię.
  • NieprzekonywającyTest zaliczony : Wyniki testu były niejednoznaczne, prawdopodobnie z powodu błędu laboratorium testowego.
  • PominiętoTest zaliczony : Wybrane wartości wymiarów dla niektórych wykonań testów w macierzy były niezgodne. Dzieje się tak, gdy wybrane urządzenia są niezgodne z co najmniej jednym wybranym poziomem interfejsu API systemu Android.

Aby przejrzeć zagregowane wyniki testów dla wszystkich macierzy testowych dla danej aplikacji w projekcie Firebase, kliknij nazwę aplikacji, jak pokazano w poniższym przykładzie:

Przykładowa strona wyników macierzy testów z tylko czterema wykonaniami testówWyniki macierzy testowej

Spowoduje to przejście do listy macierzy testów dla Twojej aplikacji, gdzie możesz kliknąć nazwę dowolnej macierzy testów, aby zobaczyć wyniki macierzy testów, i gdzie możesz kliknąć nazwę aplikacji (przedstawioną w czerwonym polu poniżej), aby wyświetlić listę macierzy testów dla innych aplikacji powiązanych z Twoim projektem Firebase.

Przykładowa strona z listą macierzy testowych Lista macierzy testowych

Macierz testowa może zaliczyć, zawieść lub być niejednoznaczna. Macierz testów jest pokazywana jako nieudana lub niejednoznaczna, jeśli jakiekolwiek wykonania testów w tej macierzy nie powiodły się lub są niejednoznaczne.

Interpretuj wyniki testu Robo

Jeśli przeprowadziłeś testy za pomocą Robo, oprócz zwykłych danych testowych wyniki obejmują filmy i zrzuty ekranu przedstawiające Robo indeksującego Twój interfejs użytkownika. Te filmy i zrzuty ekranu zawierają wizualne wskazania działań podejmowanych przez Robo podczas indeksowania, podobnie jak funkcja „Pokaż dotknięcia” w Androidzie. Możesz użyć wskazówek, aby śledzić postępy Robo i odtwarzać wszelkie wykryte przez niego błędy.

Przykładowy film z wynikami testu Robo

Wyniki testu robota

Interpretuj wyniki z pojedynczego wykonania testu

Na stronie wyników macierzy testów kliknij jedno z wykonań testów, aby zobaczyć wynik wykonania tego konkretnego testu.

Przykładowa strona wyników wykonania testu executionWyniki wykonania testu

Na tej stronie możesz zobaczyć czas potrzebny na wykonanie każdego testu. Możesz również wyświetlić wyniki dla określonych przypadków testowych, które odpowiadają metodom w testowym pakiecie APK (w przypadku testów oprzyrządowania) oraz szczegółowe wyniki testów, w tym dzienniki testów, zrzuty ekranu i filmy. Dla testu Robo , szczegółowe wyniki badań obejmują również mapę aktywności, które przedstawia graficznie ścieżki UI, które zostały odwiedzone przez teście Robo.

Podzielone wyniki testów oprzyrządowania

Aby ułatwić interpretację wyników testów oprzyrządowanych, laboratorium testowe dzieli każdy test na własną szczegółową stronę raportu, zawierającą ślady stosu, dzienniki i filmy. Ta funkcja działa niezależnie od tego, czy korzystasz z Android Orchestrator.

Przykładowa strona z wynikami przypadku testowego Wyniki testów

Interpretuj wyniki ułatwień dostępu

Testy Robo używają Android Accessibility Scanner do wykrywania problemów z ułatwieniami dostępu w Twojej aplikacji (pamiętaj, że możesz też uruchomić skanowanie lokalnie na swoim urządzeniu). Aby uzyskać instrukcje na temat przeglądu i interpretacji wyników testu dostępności swojego Robo, wizyta Zacznij Dostęp do skanera .

Aby uzyskać ogólne informacje na temat sposobów poprawy dostępności aplikacji, odwiedź Android dokumentacji Accessibility Developer .

Wskaźniki wydajności

Testy przeprowadzane na urządzeniach fizycznych zwracają również metryki wydajności:

Metryczny Wymagana konfiguracja urządzenia
Czas uruchamiania aplikacji API 19+
użycie procesora API 21+
Zużycie pamięci
Aktywność sieci
Klatki na sekundę API 21+ i obejmuje SurfaceView
Wydajność grafiki API 23+

Szczegóły wydajności grafiki

Raport wydajności grafiki zawiera statystyki dotyczące kilku kluczowych wskaźników graficznych:

  • Niewykorzystany Vsync: liczba nieodebranych zdarzeń Vsync, podzielona przez liczbę klatek, które trwało dłużej niż 16 ms do renderowania.
  • Wejście o wysokiej latencji: liczba zdarzeń wejściowych, które trwało dłużej niż 24 ms, podzielonych przez liczbę klatek, które miały dłuższy niż 16 ms do renderowania.
  • Powolne wątek UI: ile razy wątek UI zajęło ponad 8 ms do pełna, podzielona przez liczbę klatek, które trwało dłużej niż 16 ms do renderowania.
  • Polecenia powolne Draw: Ile razy, że wysyłanie poleceń zwrócić GPU trwało więcej niż 12 ms, podzielona przez liczbę ramek, które miały dłuższy niż 16 ms do renderowania.
  • Powolne przesłane bitmap: liczba razy, że bitmapy trwało dłużej niż 3,2 ms, aby przesłać do GPU podzielonej przez liczbę klatek, które miały dłuższy niż 16 ms do renderowania.
  • Wygenerowano w: Rozkład tynku razy dla każdej ramki próbnej. Czasy renderowania większe niż 32 milisekundy powodują odczuwalne spowolnienie interfejsu użytkownika. Czasy renderowania 700+ wskazują zamrożone klatki. Czynią dane są zbierane od dumpsys graphicsstats .

Szczegółowe wyniki testów

Szczegółowe wyniki testu są dostępne przez 90 dni po jego uruchomieniu i są przechowywane w zasobniku Google Cloud Storage (ale są również widoczne w konsoli Firebase). Można wyświetlić szczegółowe wyniki badań w Cloud Storage po kliknięciu przycisku Wyświetl pliki źródłowe na stronie wyników wykonania testu. Gdy szczegółowe wyniki testów nie są już dostępne, nadal możesz zobaczyć, które testy zakończyły się powodzeniem lub niepowodzeniem.

Aby zachować szczegółowe wyniki badań przez okres dłuższy niż 90 dni, trzeba wysłać te wyniki badań na Cloud Storage, że jesteś właścicielem używając opcji gcloud wiersza polecenia --results-wiadro . Następnie można wybrać ustawienie Age aby ustalić, jak długo wyniki są przechowywane w Cloud Storage. Zobacz warunki w cyklu o udzielenie informacji na temat sposobu, aby zmienić ustawienie wiekowych.