Niezależnie od tego, czy uruchamiasz testy za pomocą konsoli Firebase, czy interfejsu wiersza poleceń Firebase, szczegółowe wyniki testów znajdziesz w konsoli Firebase. Czytaj dalej, aby dowiedzieć się, jak analizować wyniki testu.
Wyświetlanie wyników testu
Po przesłaniu lub wybraniu testu i określeniu urządzeń testowych możesz wyświetlić podsumowanie wyników testu (w tym logi, filmy i zrzuty ekranu) na panelu Test Lab konsoli Firebase. Surowe wyniki testów są też przechowywane w worku Google Cloud, aby ułatwić ich używanie w systemach CI.
Aby wyświetlić wyniki testu, otwórz sekcję Test Lab w Firebase konsoli.
Znajdziesz tam listę wszystkich poprzednich uruchomień testów. Aby zrozumieć wyniki, warto wiedzieć coś więcej o matrycach testów: Gdy uruchamiasz test lub zestaw przypadków testowych na wybranych urządzeniach i w wybranych konfiguracjach, Test Lab wykonuje test na Twojej aplikacji w partii, a następnie wyświetla wyniki w postaci matrycy testów.
Urządzenia × wykonania testu = tabela testów
- Urządzenie
- Urządzenie fizyczne lub wirtualne (tylko Android), na którym przeprowadzasz test, np. telefon, tablet lub urządzenie do noszenia. Urządzenia w macierz testów są identyfikowane na podstawie modelu urządzenia, wersji systemu operacyjnego, orientacji ekranu i lokalizacji (czyli ustawień geograficznych i językowych).
- Test, wykonanie testu
- Test (lub zestaw przypadków testowych) do uruchomienia na urządzeniu. Możesz przeprowadzić jeden test na urządzeniu lub podzielić test na części i przeprowadzić testy na różnych urządzeniach.
- Zestaw testów
- Zawiera stany i wyniki testów wykonanych podczas testów. Jeśli jakiekolwiek wykonanie testu w macierzy zakończy się niepowodzeniem, cała matryca zakończy się niepowodzeniem.
Interpretowanie wyników testu w ramach zestawu testów
Jeśli rozpoczniesz testy w konsoli Firebase, Test Lab przeniesie Cię bezpośrednio do aktywnej tabeli testów, w której możesz śledzić postępy testów w czasie ich trwania. Jeśli zamiast tego korzystasz z narzędzia wiersza poleceń, możesz kliknąć podany przez nie adres URL, aby przejść na stronę aktywnej matrycy testów.
Ma ona po 1 wierszu na każde wykonanie testu Test Lab. Ikona przed nazwą wykonania wskazuje stan wykonania:
- play_circle_outline W toku:wykonanie testu jest w toku. W zależności od liczby i złożoności testów w aplikacji ich wykonanie może potrwać do godziny.
- check_circle Zaliczony: żaden z testów nie zakończył się niepowodzeniem.
- warning Niepowodzenie: co najmniej jeden z testów wykonania zakończył się niepowodzeniem.
- error Niejednoznaczne: wyniki testu były niejednoznaczne, prawdopodobnie z powodu błędu Test Lab.
- block Pominięcie: Test Lab pominięcie testu, ponieważ wybrana kombinacja urządzenia i wersji systemu operacyjnego jest niedostępna.
Interpretowanie wyników pojedynczego wykonania testu
Na stronie wyników macierzy testów kliknij jedno z wykonań testu, by zobaczyć wynik konkretnego wykonania testu.
Na tej stronie znajdziesz statystyki dotyczące wykonania testu, w tym problemy napotkanie na etapie testowania, listę przypadków testowych, logi z wykonania oraz film z testu.
Szczegółowe wyniki testu
Szczegółowe wyniki testów są dostępne w zasobniku Google Cloud Storage przez 90 dni. Aby wyświetlić zasobnik, na stronie wyników wykonania testu kliknij Wyświetl pliki źródłowe.
Aby zachować szczegółowe wyniki testów przez ponad 90 dni, wyślij je do bardziej trwałego zasobnika Cloud Storage, którego jesteś właścicielem, za pomocą opcji --results-bucket wiersza poleceń gcloud. Następnie możesz ustawić ustawienie Wiek, aby określić, jak długo Cloud Storagema przechowywać wyniki. Więcej informacji o tym, jak zmienić ustawienie Wiek, znajdziesz w artykule Warunki cyklu życia.