Istnieje wiele sposobów używania narzędzia Firebase Test Lab do uruchamiania testów w aplikacji na Androida, w tym interfejs wiersza poleceń, Android Studio, Test Labinterfejs użytkownika Firebase i Testing API. Niezależnie od tego, jak rozpoczniesz test, wyniki będą zapisane w wybranym przez Ciebie projekcie Firebase. Wyniki możesz przejrzeć za pomocą: ToolResults API oprócz wymienionych powyżej narzędzi. Na tej stronie dowiesz się, jak przeglądać i analizować wyniki testów.
Najważniejsze pojęcia
Aby wyświetlić wyniki wszystkich poprzednich testów, wybierz Test Lab w panelu użytkownika po lewej stronie projektu, Firebase. Na tej stronie wyświetlane są wszystkie uruchomienia testów aplikacje przetestowane w projekcie przy użyciu Test Lab.
Aby sprawdzić wyniki testu, musisz najpierw zrozumieć 3 pojęcia:
Gdy uruchomisz test lub zbiór przypadków testowych na urządzeniach i konfiguracjach wybrany przez Ciebie, Test Lab uruchamia test aplikacji zbiorczo, a potem wyświetla wyniki w postaci macierzy testów.
Urządzenia × Uruchomienia testów = Macierz testów
- Urządzenie
- Urządzenie fizyczne lub wirtualne (tylko Android), na którym przeprowadzasz test, np. telefon, tablet lub urządzenie do noszenia. Urządzenia w zestawie testów są identyfikowane przez modelu urządzenia, wersji systemu operacyjnego, orientacji ekranu i języka ustawienia geograficzne i językowe).
- Testuj, wykonując test
- Test (lub zestaw przypadków testowych) do uruchomienia na urządzeniu. Możesz przeprowadzić 1 test na urządzenie lub opcjonalnie podzielić test na fragmenty i uruchamiać przypadki testowe na różnych urządzeniach.
- Zestaw testów
- Zawiera stany i wyniki testów wykonanych podczas testów. Jeśli tak, nie uda się wykonać testu w macierzy, cała macierz kończy się niepowodzeniem.
W kolejnych sekcjach znajdziesz informacje o tym, jak poruszać się po wynikach testu.
Interpretowanie wyników historii testów
Gdy przejdziesz do wyników testu, klikając Test Lab, zobaczysz wyniki dotychczasowych testów.
Historia testów jest grupowana według aplikacji. Tylko pięć ostatnich macierzy testów jest wyświetlana dla każdej aplikacji; jeśli dostępnych jest więcej, możesz kliknąć Wszystkie macierze u dołu listy testów aplikacji.
Zinterpretuj wyniki macierzy testów
Rozpoczynając test za pomocą interfejsu użytkownika Test Lab, zostanie przekierowany na stronę, gdzie można zobaczyć macierz testów i kliknąć konkretne wykonanie testu, by wyświetlić jego wyniki. Android Studio, i polecenie gcloud podaj URL macierzy testów wyników wyszukiwania.
W typowej macierzy testów można przeprowadzić test na kilkunastu różnych urządzenia. Każde wykonanie testu może przynieść inny wynik. Możliwe wyniki dla każdego wykonania testu w macierz testów:
- Udane
: nie wystąpiły żadne błędy. - Niepowodzenie
: co najmniej 1 błąd
natrafionego na komputer. - Wynik niejednoznaczny (
): wyniki testu to
niejednoznaczny, prawdopodobnie z powodu błędu Test Lab. - Pominięto
: wybrane wartości wymiaru
w przypadku niektórych wykonań testów w tabeli były niezgodne. Dzieje się tak, gdy
wybrane urządzenia są niezgodne z co najmniej 1 interfejsem API Androida.
wybranych przez Ciebie poziomach.
Aby przeglądać zbiorcze wyniki testów dla wszystkich macierzy testów dla danej aplikacji w projektu Firebase, kliknij nazwę aplikacji, tak jak w tym przykładzie:
Przykładowa strona z wynikami macierzy testów zawierającej tylko 4 wykonania testu
Wyświetli się lista macierzy testów aplikacji, na której możesz kliknąć nazwy dowolnej macierzy testów, aby zobaczyć ich wyniki i adres nazwa aplikacji (widoczna w czerwonym polu poniżej), aby wyświetlić listę macierzy testów dla innych aplikacji powiązanych z Twoim projektem Firebase.
Przykładowa strona z listą macierzy testów
Zestaw testów może zakończyć się pozytywnie, niezawiść lub być niejednoznaczny. Wyświetlana jest macierz testów jako nieudane lub niejednoznaczne, jeśli jakieś wykonania testu w tej macierzy nie powiodą się lub niejednoznaczny.
Zinterpretuj wyniki testu Robo
Jeśli testy zostały przeprowadzone przy użyciu Robo, wyniki będą obejmowały filmy i zrzuty ekranu przedstawiające Indeksowanie Robo w interfejsie użytkownika to dodatek do standardowych wskaźników testowych. Te filmy na zrzutach ekranu widać działania wykonane przez Robo podczas indeksowania, podobne do „Pokaż dotknięcia” na Androidzie. Dzięki wskazówkom możesz śledzić postępy Robo i odtwarzać błędy odkryć.
Przykładowy film z wynikami testu Robo
Zinterpretuj wyniki pojedynczego wykonania testu
Na stronie wyników macierzy testów kliknij jedno z wykonań testu, by zobaczyć w wyniku wykonania konkretnego testu.
Przykładowa strona z wynikami wykonania testu
Na tej stronie możesz sprawdzić czas potrzebny na wykonanie każdego testu. Możesz też wyświetlić wyniki konkretnych przypadków testowych odpowiadających metodom w pliku APK testowym (w przypadku testów instrumentacji) oraz szczegółowe wyniki testów, w tym dzienniki testów, zrzuty ekranu i filmy. Test Robo, szczegółowy test obejmują również mapę działań, która graficznie pokazuje ścieżki które zostały odwiedzone przez test Robo.
Wyniki testu z instrumentacją partycjonowaną
Aby ułatwić interpretację wyników testów instrumentowanych, Test Lab rozdziela każdy test na osobną stronę z raportami szczegółowymi, na której znajdziesz zrzuty stosu, dzienniki i filmy. Ta funkcja działa niezależnie od tego, czy używasz narzędzia Androidinteresor.
Przykładowa strona z wynikami przypadku testowego
Interpretowanie wyników ułatwień dostępu
Testy Robo wykrywają problemy z ułatwieniami dostępu za pomocą Android Accessibility Scanner w aplikacji (pamiętaj, że możesz też uruchomić skanowanie lokalnie na urządzeniu). Instrukcje dotyczące analizowania i interpretowania wyniki testu Robo znajdują się na stronie Pierwsze kroki z aplikacją Accessibility Scanner.
Ogólne informacje o tym, jak poprawić ułatwienia dostępu w aplikacji, znajdziesz w dokumentacji ułatwień dostępu dla programistów aplikacji na Androida.
Dane dotyczące skuteczności
Testy przeprowadzane na urządzeniach fizycznych również zwracają dane o wydajności:
| Dane | Wymagana konfiguracja urządzenia |
|---|---|
| Czas uruchamiania aplikacji | API 19+ |
| Wykorzystanie procesora | Interfejs API w wersji 21 lub nowszej |
| Wykorzystanie pamięci | |
| Aktywność sieciowa | |
| Klatki na sekundę | Interfejs API w wersji 21 lub nowszej i obejmuje SurfaceView |
Szczegółowe wyniki testu
Szczegółowe wyniki testu są dostępne przez 90 dni po przeprowadzeniu testu i są przechowywane w zasobniku Google Cloud Storage (ale są też widoczne w Firebase). Szczegółowe wyniki testu możesz wyświetlić w Cloud Storage po kliknięciu Wyniki testu na stronie z wynikami wykonania testu. Gdy szczegółowe wyniki testów nie są już dostępne, nadal możesz sprawdzić, które testy zostały zaliczone, a które niezaliczone.
Aby zachować szczegółowe wyniki testów na dłużej niż 90 dni, musisz wysłać te wyniki do zasobnika Cloud Storage, którego jesteś właścicielem, za pomocą opcji --results-bucket wiersza poleceń gcloud. Następnie możesz ustawić Wiek, aby określić, jak długo wyniki mają być przechowywane w Twojego zasobnika Cloud Storage. Zobacz Warunki cyklu życia aby dowiedzieć się, jak zmienić ustawienie Wiek.