Testy aplikacji na Androida można przeprowadzać za pomocą Firebase Test Lab na kilka sposobów, m.in. za pomocą interfejsu wiersza poleceń, Android Studio, Test Lab interfejsu użytkownika w konsoli Firebase oraz interfejsu Testing API. Niezależnie od tego, jak rozpoczniesz testy, ich wyniki są przechowywane w określonym przez Ciebie projekcie Firebase. Wyniki możesz analizować za pomocą interfejsu ToolResults API lub dowolnego z wymienionych powyżej narzędzi. Na tej stronie dowiesz się, jak sprawdzać i analizować wyniki testów.
Kluczowe pojęcia
Aby wyświetlić wyniki wszystkich poprzednich testów, w panelu nawigacyjnym po lewej stronie w projekcie w konsoli Firebase kliknij Test Lab. Na tej stronie wyświetlane są wszystkie testy aplikacji, które zostały przetestowane w ramach projektu za pomocą Test Lab.
Aby sprawdzić wyniki testu, musisz najpierw zrozumieć 3 koncepcje:
Gdy uruchomisz test lub zestaw przypadków testowych na wybranych urządzeniach i w wybranych konfiguracjach, Test Lab przeprowadzi test aplikacji w partii, a potem wyświetli wyniki w postaci macierzy testów.
Urządzenia × Wykonania testu = Matryce testów
- Urządzenie
- Urządzenie fizyczne lub wirtualne (tylko Android), na którym przeprowadzasz test, np. telefon, tablet lub urządzenie do noszenia. Urządzenia w macierz testów są identyfikowane na podstawie modelu urządzenia, wersji systemu operacyjnego, orientacji ekranu i lokalizacji (czyli ustawień geograficznych i językowych).
- Testowanie, wykonanie testu
- Test (lub zestaw przypadków testowych) do uruchomienia na urządzeniu. Możesz przeprowadzić jeden test na urządzeniu lub podzielić test na części i przeprowadzić testy na różnych urządzeniach.
- Zestaw testów
- Zawiera stany i wyniki testów wykonanych testów. Jeśli jakiekolwiek wykonanie testu w macierzy zakończy się niepowodzeniem, cała matryca nie zostanie uruchomiona.
W kolejnych sekcjach znajdziesz informacje o tym, jak poruszać się po wynikach testu.
Interpretowanie wyników historii testów
Gdy przejdziesz do wyników testu, klikając Test Lab, zobaczysz wyniki testów przeprowadzonych do tej pory.
Historia testów jest pogrupowana według aplikacji. Dla każdej aplikacji wyświetlane są tylko 5 najnowszych matryc testowych. Jeśli jest ich więcej, możesz kliknąć link Wszystkie matryce na dole listy testów aplikacji, aby wyświetlić pełną listę.
Interpretowanie wyników testu w ramach zestawu testów
Gdy rozpoczniesz test za pomocą interfejsu Test Lab, zostaniesz przekierowany na stronę, na której możesz zobaczyć swoją matrycę testów. Aby wyświetlić wyniki testu, kliknij konkretne wykonanie testu. Android Studio i polecenie gcloud podają też adres URL strony z wynikami testu matrycy.
W typowej matrycy testów możesz przeprowadzić test na około tuzinie różnych urządzeń. Każde wykonanie testu może mieć inny wynik. Możliwe wyniki dla każdego wykonania testu w macierz testów:
- Udane
: nie wystąpiły żadne błędy. - Niepowodzenie
: wystąpił co najmniej 1 błąd. - Niejednoznaczne
: wyniki testu były niejednoznaczne, prawdopodobnie z powodu błędu Test Lab. - Pomiń
: wybrane wartości wymiarów w przypadku niektórych testów w macierzy były niezgodne. Dzieje się tak, gdy wybrane urządzenia są niezgodne z co najmniej 1 wybranym poziomem interfejsu API Androida.
Aby sprawdzić zbiorcze wyniki testów dla wszystkich matryc testowych danej aplikacji w projekcie Firebase, kliknij nazwę aplikacji, jak pokazano w tym przykładzie:
Przykład strony wyników testu w macierz testów z 4 wykonaniami testu
Otworzy się lista matryc testów Twojej aplikacji. Możesz kliknąć nazwę dowolnej matrycy testów, aby wyświetlić jej wyniki, oraz nazwę aplikacji (zaznaczoną na czerwono poniżej), aby wyświetlić listę matryc testów innych aplikacji powiązanych z Twoim projektem Firebase.
Przykładowa strona listy zestawów testów
Zestaw testów może być pozytywny, negatywny lub niejednoznaczny. Jeśli jakiekolwiek testy w danym zestawie testów nie dają jednoznacznych wyników lub nie udaje się ich przeprowadzić, zestaw testów jest wyświetlany jako nieudany lub niejednoznaczny.
Interpretowanie wyników testu Robo
Jeśli testy zostały przeprowadzone za pomocą Robo, oprócz standardowych danych testowych otrzymasz wyniki obejmujące filmy i zrzuty ekranu przedstawiające, jak Robo indeksuje interfejs użytkownika. Film i zrzuty ekranu zawierają wizualne wskazówki dotyczące działań, które Robo wykonał podczas indeksowania, podobnie jak funkcja „Pokaż dotknięcia” w Androidzie. Możesz używać tych informacji, aby śledzić postępy Robo i powtarzać błędy, które może ono wykryć.
Przykładowy film z wynikami testu Robo
Interpretowanie wyników pojedynczego wykonania testu
Na stronie wyników testu w macierz testów kliknij jedno z wykonywanych testów, aby zobaczyć wynik tego konkretnego testu.
Przykład strony wyników wykonania testu
Na tej stronie możesz sprawdzić czas potrzebny na wykonanie każdego testu. Możesz też wyświetlić wyniki konkretnych przypadków testowych odpowiadających metodom w pliku APK testowym (w przypadku testów instrumentacji) oraz szczegółowe wyniki testów, w tym dzienniki testów, zrzuty ekranu i filmy. W przypadku testu Robo szczegółowe wyniki testu obejmują też mapę aktywności, która graficznie przedstawia ścieżki interfejsu użytkownika, które zostały odwiedzone przez test Robo.
Wyniki testu z instrumentacją w przypadku partycji
Aby ułatwić interpretowanie wyników testów z użyciem instrumentacji, Test Laboddziela każdy test na osobnej stronie szczegółowego raportu, na której znajdują się zrzuty stosu, logi i filmy. Ta funkcja działa niezależnie od tego, czy korzystasz z Android Orchestrator.
Przykładowa strona wyników testu przypadku
Interpretowanie wyników testów ułatwień dostępu
Testy automatyczne korzystają z Android Accessibility Scanner do wykrywania problemów z dostępnością w aplikacji (pamiętaj, że możesz też przeprowadzić skanowanie lokalnie na urządzeniu). Instrukcje sprawdzania i interpretowania wyników testu Robo dotyczącego ułatwień dostępu znajdziesz w artykule Pierwsze kroki z aplikacją Accessibility Scanner.
Więcej informacji o tym, jak poprawić ułatwienia dostępu w aplikacji, znajdziesz w dokumentacji ułatwień dostępu dla programistów aplikacji na Androida.
Dane dotyczące skuteczności
Testy przeprowadzane na urządzeniach fizycznych również zwracają dane o wydajności:
| Dane | Wymagana konfiguracja urządzenia |
|---|---|
| Czas uruchamiania aplikacji | API 19+ |
| Wykorzystanie procesora | Interfejs API 21+ |
| Wykorzystanie pamięci | |
| Aktywność sieciowa | |
| Klatki na sekundę | Interfejs API 21 lub nowszy, który zawiera SurfaceView |
Szczegółowe wyniki testu
Szczegółowe wyniki testu są dostępne przez 90 dni od jego przeprowadzenia i są przechowywane w zasośniku Google Cloud Storage (ale są też widoczne w konsoli Firebase). Szczegółowe wyniki testu możesz wyświetlić w worku zbiorczym Cloud Storage, klikając Wyniki testu na stronie wyników wykonania testu. Gdy szczegółowe wyniki testów nie są już dostępne, nadal możesz sprawdzić, które testy zostały zaliczone, a które niezaliczone.
Jeśli chcesz zachować szczegółowe wyniki testów dłużej niż 90 dni, możesz wysłać te wyniki do zasobnika Cloud Storage, którego jesteś właścicielem, za pomocą opcji --results-bucket wiersza poleceń gcloud. Następnie możesz ustawić ustawienie Wiek, aby określić, jak długo wyniki będą przechowywane w zasobniku Cloud Storage. Informacje o tym, jak zmienić ustawienie Wiek, znajdziesz w artykule Warunki cyklu życia.
Jeśli podczas przeprowadzania testu pojawi się błąd does not have storage.objects.create access to the Google Cloud Storage object. Permission 'storage.objects.create' denied on resource (or it may not exist).., główny wykonawca testu może nie mieć odpowiednich uprawnień do projektu. Domyślnie Firebase tworzy dla Ciebie zasobnik w Google Cloud Storage, ale wymaga, aby podmiot wykonujący test miał uprawnienia „roles/editor”, które są uprawnieniami rozszerzonymi. Jeśli nie możesz przyznać tej roli do głównego podmiotu, możesz użyć opcji --results-bucket w wierszu poleceń gcloud.