Analiza wyników testów

Czy uruchomieniu testów za pośrednictwem konsoli Firebase lub Firebase CLI można znaleźć szczegółowe wyniki badań w konsoli Firebase. Czytaj dalej, aby dowiedzieć się, jak analizować wyniki testu.

Zobacz wyniki testu

Po przesłaniu lub wybraniu testu i określeniu urządzeń testowych możesz wyświetlić podsumowanie wyników testu (w tym dzienniki, filmy i zrzuty ekranu) w panelu Laboratorium w konsoli Firebase. Twoje nieprzetworzone wyniki testów są również przechowywane w zasobniku Google Cloud, co ułatwia korzystanie z systemów CI.

Aby zobaczyć wyniki testów udać się do sekcji laboratorium testowego z konsoli Firebase .

Znajdziesz tam listę wszystkich swoich poprzednich testów. Aby zrozumieć wyniki, warto wiedzieć trochę o macierzach testowych: po uruchomieniu testu lub zestawu przypadków testowych na wybranych urządzeniach i konfiguracjach, Laboratorium testowe przeprowadza test w odniesieniu do aplikacji w partii, a następnie wyświetla wyniki testu jako matrycy.

Urządzenia × Wykonywanie testów = Matryca testowa

Urządzenie
Urządzenie fizyczne lub wirtualne (tylko Android), na którym przeprowadzasz test, takie jak telefon, tablet lub urządzenie do noszenia. Urządzenia w macierzy testowej są identyfikowane według modelu urządzenia, wersji systemu operacyjnego, orientacji ekranu i ustawień regionalnych (znanych również jako ustawienia geograficzne i językowe).
Test, wykonanie testu
Test (lub zestaw przypadków testowych) do uruchomienia na urządzeniu. Możesz uruchomić jeden test na urządzenie lub opcjonalnie podzielić test i uruchomić jego przypadki testowe na różnych urządzeniach.
Matryca testowa
Zawiera statusy i wyniki testów dla wykonań testów. Jeśli wykonanie dowolnego testu w macierzy nie powiedzie się, nie powiedzie się cała macierz.

Zinterpretuj wyniki macierzy testowej

Jeśli rozpoczniesz testy w konsoli Firebase, Test Lab przeniesie Cię bezpośrednio do macierzy testów w toku, w której możesz obserwować postęp testów na bieżąco. Jeśli zamiast tego użyłeś narzędzia wiersza poleceń, możesz skorzystać z podanego adresu URL, aby przejść do strony macierzy testów w toku.

Macierz ma linię dla każdego wykonania testu, który uruchamia Test Lab. Ikona przed nazwą wykonania wyświetla status tego wykonania:

  • play_circle_outline w toku: Wykonanie testu jest jeszcze uruchomiony. Wykonywanie może potrwać do godziny, w zależności od liczby i złożoności testów w Twojej aplikacji.
  • check_circle Przekazywana: Brak testów wykonanie nie powiodło się.
  • ostrzeżenie Failed: Przynajmniej jeden z testów wykonanie nie powiodło się.
  • błędów niejednoznaczny: Wyniki badań były niejednoznaczne, prawdopodobnie z powodu błędu laboratorium testowego.
  • Blok Pominięto: Test Lab pomijane test, ponieważ połączenie wersja urządzenia / OS wybrałeś jest niedostępny.

Interpretowanie wyników z pojedynczego wykonania testu

Na stronie wyników macierzy testów kliknij jedno z wykonań testów, aby zobaczyć wynik wykonania tego konkretnego testu.

Strona pokazuje statystyki wykonania tego testu, w tym problemy napotkane podczas testowania, listę przypadków testowych, dzienniki z wykonania oraz wideo z przebiegu testu.

Szczegółowe wyniki testów

Szczegółowe wyniki testów są dostępne w zasobniku Google Cloud Storage przez 90 dni. Kliknij przycisk Wyświetl pliki źródłowe na stronie wynikowej wykonanie testu widzi wiadro.

Aby zachować szczegółowe wyniki testu na dłużej niż 90 dni, wysyłać wyniki badań do bardziej trwałego Cloud Storage, że jesteś właścicielem używając opcji gcloud wiersza polecenia --results-wiadro . Następnie można wybrać ustawienie Age, aby określić, jak długo Cloud Storage przechowuje wyniki. Aby uzyskać więcej informacji na temat zmiany ustawień Age, zobaczyć warunki w cyklu .