Testy aplikacji na Androida można przeprowadzać za pomocą Firebase Test Lab na kilka sposobów, m.in. za pomocą interfejsu wiersza poleceń, Android Studio, Test Lab interfejsu użytkownika w konsoli Firebase oraz interfejsu Testing API. Niezależnie od tego, jak rozpoczniesz testy, wyniki są przechowywane w określonym przez Ciebie projekcie Firebase. Wyniki możesz analizować za pomocą interfejsu ToolResults API lub dowolnego z wymienionych powyżej narzędzi. Na tej stronie dowiesz się, jak sprawdzać i analizować wyniki testów.
Kluczowe pojęcia
Aby wyświetlić wyniki wszystkich poprzednich testów, w panelu nawigacyjnym po lewej stronie w projekcie w konsoli Firebase kliknij Test Lab. Na tej stronie wyświetlają się wszystkie testy aplikacji, które zostały przetestowane w ramach projektu za pomocą Test Lab.
Aby sprawdzić wyniki testu, musisz najpierw zrozumieć 3 koncepcje:
Gdy uruchomisz test lub zestaw przypadków testowych na wybranych urządzeniach i w wybranych konfiguracjach, Test Lab przeprowadzi test aplikacji w partii, a potem wyświetli wyniki w postaci macierzy testów.
Urządzenia × wykonania testu = macierz testów
- Urządzenie
- Urządzenie fizyczne lub wirtualne (tylko Android), na którym przeprowadzasz test, np. telefon, tablet lub urządzenie do noszenia. Urządzenia w macierz testów są identyfikowane na podstawie modelu urządzenia, wersji systemu operacyjnego, orientacji ekranu i lokalizacji (czyli ustawień geograficznych i językowych).
- Test, wykonanie testu
- Test (lub zestaw przypadków testowych) do uruchomienia na urządzeniu. Możesz przeprowadzić jeden test na urządzeniu lub podzielić test na części i przeprowadzić testy na różnych urządzeniach.
- Zestaw testów
- Zawiera stany i wyniki testów wykonanych testów. Jeśli jakiekolwiek wykonanie testu w macierzy zakończy się niepowodzeniem, cała matryca zakończy się niepowodzeniem.
W kolejnych sekcjach znajdziesz informacje o tym, jak poruszać się po wynikach testu.
Interpretowanie wyników historii testów
Gdy przejdziesz do wyników testu, klikając Test Lab, zobaczysz wyniki dotychczas przeprowadzonych testów.
Historia testów jest pogrupowana według aplikacji. Dla każdej aplikacji wyświetlane są tylko 5 najnowszych matryc testowych. Jeśli jest ich więcej, możesz kliknąć link Wszystkie matryce na dole listy testów aplikacji, aby wyświetlić pełną listę.
Interpretowanie wyników testu w ramach zestawu testów
Gdy rozpoczynasz test w interfejsie Test Lab, przekierowujemy Cię na stronę, na której możesz zobaczyć swoją matrycę testów. Aby wyświetlić wyniki testu, kliknij konkretne wykonanie testu. Android Studio i polecenie gcloud podają też adres URL strony z wynikami testu matrycy.
W typowej matrycy testów możesz przeprowadzić test na około tuzinie różnych urządzeń. Każde wykonanie testu może mieć inny wynik. Możliwe wyniki dla każdego wykonania testu w macierz testów:
- Udane
: nie wystąpiły żadne błędy. - Niepowodzenie
: wystąpił co najmniej 1 błąd. - Niejednoznaczne
: wyniki testu były niejednoznaczne, prawdopodobnie z powodu błędu Test Lab. - Pomiń
: wybrane wartości wymiarów w przypadku niektórych testów w macierzy były niezgodne. Dzieje się tak, gdy wybrane urządzenia są niezgodne z co najmniej 1 wybranym poziomem interfejsu API Androida.
Aby sprawdzić zbiorcze wyniki testów dla wszystkich matryc testowych danej aplikacji w projekcie Firebase, kliknij nazwę aplikacji, jak pokazano w tym przykładzie:
Przykład strony wyników testu w macierz testów z 4 wykonaniami testu
Otworzy się lista matryc testów Twojej aplikacji. Możesz kliknąć nazwę dowolnej matrycy testów, aby wyświetlić jej wyniki, oraz nazwę aplikacji (wyświetloną w czerwonym polu poniżej), aby wyświetlić listę matryc testów innych aplikacji powiązanych z Twoim projektem Firebase.
Przykładowa strona listy zestawów testów
Zestaw testów może być pozytywny, negatywny lub niejednoznaczny. Jeśli jakiekolwiek testy w danym zestawie testów nie powiedzie się lub dadzą niejednoznaczne wyniki, zestaw testów będzie wyświetlany jako nieudany lub niejednoznaczny.
Interpretowanie wyników testu Robo
Jeśli testy zostały przeprowadzone za pomocą Robo, oprócz standardowych danych testowych otrzymasz wyniki obejmujące filmy i zrzuty ekranu przedstawiające, jak Robo indeksuje interfejs użytkownika. Film i zrzuty ekranu zawierają wizualne wskazówki dotyczące działań, które Robo wykonał podczas indeksowania, podobnie jak funkcja „Pokaż dotknięcia” w Androidzie. Możesz używać tych informacji, aby śledzić postępy robota i powtarzać błędy, które może on wykryć.
Przykładowy film z wynikami testu Robo
Interpretowanie wyników pojedynczego wykonania testu
Na stronie wyników macierzy testów kliknij jedno z wykonywanych testów, aby zobaczyć wynik tego konkretnego testu.
Przykład strony wyników wykonania testu
Na tej stronie możesz sprawdzić czas potrzebny na wykonanie każdego testu. Możesz też wyświetlić wyniki konkretnych przypadków testowych odpowiadających metodom w pliku APK testowym (w przypadku testów instrumentacji) oraz szczegółowe wyniki testów, w tym dzienniki testów, zrzuty ekranu i filmy. W przypadku testu Robo szczegółowe wyniki testu obejmują też mapę aktywności, która graficznie przedstawia ścieżki interfejsu użytkownika, które zostały odwiedzone przez test Robo.
Wyniki testu z instrumentacją w przypadku partycji
Aby ułatwić interpretowanie wyników testów z użyciem instrumentacji, Test Lab oddziela każdy test na osobnej stronie szczegółowego raportu, na której znajdują się zrzuty stosu, logi i filmy. Ta funkcja działa niezależnie od tego, czy używasz Android Orchestrator.
Przykładowa strona wyników testu przypadku
Interpretowanie wyników testów dostępności
Testy automatyczne korzystają z Android Accessibility Scanner do wykrywania problemów z dostępnością w aplikacji (pamiętaj, że możesz też przeprowadzić skanowanie lokalnie na urządzeniu). Instrukcje sprawdzania i interpretowania wyników testu Robo dotyczącego ułatwień dostępu znajdziesz w artykule Pierwsze kroki z Accessibility Scanner.
Ogólne informacje o tym, jak poprawić ułatwienia dostępu w aplikacji, znajdziesz w dokumentacji ułatwień dostępu dla programistów aplikacji na Androida.
Dane dotyczące skuteczności
Testy przeprowadzane na urządzeniach fizycznych również zwracają dane o wydajności:
| Dane | Wymagana konfiguracja urządzenia |
|---|---|
| Czas uruchamiania aplikacji | API 19+ |
| Wykorzystanie procesora | Interfejs API 21+ |
| Wykorzystanie pamięci | |
| Aktywność sieciowa | |
| Klatki na sekundę | Interfejs API 21 lub nowszy, który zawiera SurfaceView |
Szczegółowe wyniki testu
Szczegółowe wyniki testu są dostępne przez 90 dni od jego przeprowadzenia i są przechowywane w zasośniku Google Cloud Storage (ale są też widoczne w konsoli Firebase). Szczegółowe wyniki testu możesz wyświetlić w worku zbiorczym Cloud Storage, klikając Wyniki testu na stronie wyników wykonania testu. Gdy szczegółowe wyniki testów nie są już dostępne, nadal możesz sprawdzić, które testy zostały zaliczone, a które niezaliczone.
Aby zachować szczegółowe wyniki testów na dłużej niż 90 dni, musisz wysłać te wyniki do zasobnika Cloud Storage, którego jesteś właścicielem, za pomocą opcji --results-bucket wiersza poleceń gcloud. Następnie możesz ustawić ustawienie Wiek, aby określić, jak długo wyniki będą przechowywane w zasobniku Cloud Storage. Informacje o tym, jak zmienić ustawienie Wiek, znajdziesz w artykule Warunki cyklu życia.