Automatyzacja testowania gier może być trudna, gdy aplikacje do gier są tworzone na różnych platformach interfejsu. Testy pętli gry umożliwiają zintegrowanie testów natywnych z Test Lab i łatwe uruchamianie ich na wybranych urządzeniach. Test pętli gry uruchamia test w grze mobilnej, symulując działania prawdziwego gracza. Z tego przewodnika dowiesz się, jak przeprowadzić test pętli gry, a następnie wyświetlić wyniki testu i zarządzać nimi w Firebase konsoli.
Co to jest test pętli gry?
Aplikacje do gier renderują się na różnych platformach i silnikach interfejsu, takich jak Unity, Unreal czy kod C++ OpenGL/Vulkan, dlatego standardowe narzędzia do automatyzacji nie mogą sprawdzać elementów interfejsu ani wchodzić z nimi w interakcje. Test pętli gry umożliwia zintegrowanie testów silnika natywnego z Test Lab przez uruchomienie gry z intencją zawierającą konkretny numer scenariusza. Ten numer scenariusza powoduje, że aplikacja uruchamia wstępnie zaprogramowaną logikę, symulacje AI lub testy wydajności bezpośrednio w silniku gry.
Po uruchomieniu Test Lab nie wchodzi już w interakcje z interfejsem gry. Zamiast tego Test Lab działa jako transport testowy i środowisko: uruchamia konkretny scenariusz, monitoruje awarie i przekroczenia limitu czasu oraz zbiera niestandardowe logi wyników, gdy aplikacja zakończy wykonywanie pętli.
Czym pętle gry różnią się od testów instrumentacji
- Testy instrumentacji (takie jak Espresso czy UI Automator) opierają się na zewnętrznych platformach, które sterują interakcjami z interfejsem, klikają przyciski i sprawdzają stan aplikacji w hierarchii widoków Androida spoza aplikacji.
- Testy pętli gry przekazują logikę testu do aplikacji. Aplikacja uruchamia własną wewnętrzną pętlę testową lub symulację bez zewnętrznej interakcji z interfejsem, a Test Lab uruchamia scenariusz i zbiera wyniki testu.
Przykłady
Załóżmy, że chcesz sprawdzić, czy gra utrzymuje co najmniej 60 klatek na sekundę na różnych urządzeniach fizycznych. Możesz zaimplementować scenariusz 1 w kodzie gry, aby wczytać najbardziej złożony wizualnie poziom i pozwolić graczowi AI lub zautomatyzowanemu skryptowi przejść go w ciągu 2 minut.
Gdy Test Lab uruchomi scenariusz 1, gra rozpocznie rozgrywkę AI, będzie monitorować czasy renderowania klatek i wykorzystanie pamięci, przesyłać te dane do niestandardowego pliku dziennika wyjściowego (logFile) i po zakończeniu wywoła funkcję finish().
Test Lab przechwyci plik dziennika i udostępni go w Cloud
Storage oraz w Firebase konsoli.
Przypadki użycia
W zależności od silnika gry możesz implementować testy z jedną lub kilkoma pętlami. Pętla to pełne lub częściowe wykonanie testu w aplikacji do gier. Pętle gry można wykorzystać do:
- Uruchamiania poziomu gry w taki sam sposób, w jaki zrobiłby to użytkownik. Możesz zaprogramować dane wejściowe użytkownika, pozwolić mu na bezczynność lub zastąpić go sztuczną inteligencją, jeśli ma to sens w Twojej grze (np. jeśli masz aplikację do gier wyścigowych i zaimplementowaną sztuczną inteligencję, możesz powierzyć kierowanie kierowcy AI).
- Uruchamiania gry w najwyższej jakości, aby sprawdzić, czy urządzenia ją obsługują.
- Przeprowadzania testu technicznego (kompilowania wielu shaderów, wykonywania ich, sprawdzania, czy dane wyjściowe są zgodne z oczekiwaniami itp.).
Test pętli gry możesz uruchomić na jednym urządzeniu testowym, na zestawie urządzeń testowych lub na Test Lab. Nie zalecamy jednak uruchamiania testów pętli gry na urządzeniach wirtualnych, ponieważ mają one niższą liczbę klatek na sekundę niż urządzenia fizyczne.
Zanim zaczniesz
Aby zaimplementować test, musisz najpierw skonfigurować aplikację pod kątem testów pętli gry.
W pliku manifestu aplikacji dodaj nowy filtr intencji do swojej aktywności:
<activity android:name=".MyActivity"> <intent-filter> <action android:name="com.google.intent.action.TEST_LOOP"/> <category android:name="android.intent.category.DEFAULT"/> <data android:mimeType="application/javascript"/> </intent-filter> <intent-filter> ... (other intent filters here) </intent-filter> </activity>Dzięki temu Test Lab będzie mogło uruchomić grę, wywołując ją za pomocą konkretnej intencji.
W kodzie (zalecamy dodanie go w deklaracji metody
onCreate) dodaj ten kod:Kotlin
val launchIntent = intent if (launchIntent.action == "com.google.intent.action.TEST_LOOP") { val scenario = launchIntent.getIntExtra("scenario", 0) // Code to handle your game loop here }
Java
Intent launchIntent = getIntent(); if(launchIntent.getAction().equals("com.google.intent.action.TEST_LOOP")) { int scenario = launchIntent.getIntExtra("scenario", 0); // Code to handle your game loop here }
Dzięki temu aktywność będzie mogła sprawdzić intencję, która ją uruchamia. Jeśli wolisz, możesz też dodać ten kod później (np. po początkowym wczytaniu silnika gry).
Zalecane: na końcu testu dodaj:
Kotlin
yourActivity.finish()
Java
yourActivity.finish();
Spowoduje to zamknięcie aplikacji po zakończeniu testu pętli gry. Test opiera się na platformie interfejsu aplikacji, która uruchamia następną pętlę, a zamknięcie aplikacji informuje ją o zakończeniu testu.
Tworzenie i uruchamianie testu pętli gry
Po skonfigurowaniu aplikacji pod kątem testów pętli gry możesz od razu utworzyć test i uruchomić go w aplikacji do gier. Możesz uruchomić test w Test Lab za pomocą Firebase konsoli lub interfejsu wiersza poleceń gcloud (CLI), albo na urządzeniu lokalnym za pomocą Menedżera pętli testowych.
Uruchamianie na urządzeniu lokalnym
Test Lab Laboratorium testów Test Loop Manager to aplikacja open source, która pomaga zintegrować testy pętli gry i uruchamiać je na urządzeniach lokalnych. Umożliwia też zespołowi ds. zapewnienia jakości uruchamianie tych samych pętli gry na swoich urządzeniach.
Aby uruchomić test na urządzeniu lokalnym za pomocą Test Loop Manager:
- Pobierz Test Loop Manager na telefon lub tablet i zainstaluj go, uruchamiając:
adb install testloopmanager.apk
- Na urządzeniu otwórz aplikację Test Loop Apps (Aplikacje pętli testowych). Aplikacja wyświetla listę aplikacji na urządzeniu, które można uruchamiać za pomocą pętli gry. Jeśli nie widzisz tutaj swojej gry mobilnej, upewnij się, że filtr intencji jest zgodny z filtrem opisanym w pierwszym kroku sekcji Zanim zaczniesz.
- Wybierz swoją grę mobilną, a następnie liczbę pętli, które chcesz uruchomić. Uwaga: na tym etapie możesz uruchomić podzbiór pętli zamiast tylko jednej pętli. Więcej informacji o uruchamianiu wielu pętli naraz znajdziesz w sekcji Funkcje opcjonalne.
- Kliknij Uruchom test. Test zacznie się od razu.
Uruchamianie w Test Lab
Test pętli gry możesz uruchomić w Test Lab za pomocą Firebase konsoli lub gcloud CLI. Zanim zaczniesz, otwórz konsolę Firebase i utwórz projekt.
Korzystanie z konsoli Firebase
- W konsoli Firebase kliknij Test Lab w panelu po lewej stronie.
- Kliknij Uruchom pierwszy test (lub Uruchom test , jeśli w projekcie przeprowadzono już test).
- Jako typ testu wybierz Pętla gry, a następnie kliknij Dalej.
- Kliknij Przeglądaj, a następnie przejdź do pliku
.apkaplikacji. Uwaga: na tym etapie możesz uruchomić podzbiór pętli zamiast tylko jednej pętli. Więcej informacji o uruchamianiu wielu pętli naraz znajdziesz w sekcji Funkcje opcjonalne. - Kliknij Dalej.
- Wybierz urządzenia fizyczne, na których chcesz przetestować aplikację.
- Kliknij Rozpocznij testy.
Więcej informacji o rozpoczynaniu pracy z konsolą Firebase znajdziesz w artykule Rozpoczynanie testowania za pomocą konsoli Firebase.
Korzystanie z interfejsu wiersza poleceń gcloud
Jeśli jeszcze tego nie zrobisz, pobierz i zainstaluj pakiet Google Cloud SDK.
Zaloguj się w gcloud CLI za pomocą konta Google:
gcloud auth loginUstaw projekt w Firebase w gcloud, gdzie
PROJECT_IDto identyfikator projektu w Firebase:gcloud config set project PROJECT_ID
Uruchom pierwszy test:
gcloud firebase test android run \ --type=game-loop --app=<var>path-to-apk</var> \ --device model=herolte,version=23
Więcej informacji o rozpoczynaniu pracy z gcloud CLI znajdziesz w artykule Rozpoczynanie testowania z wiersza poleceń gcloud.
Funkcje opcjonalne
Test Lab oferuje kilka funkcji opcjonalnych, które umożliwiają dalsze dostosowywanie testów, w tym możliwość zapisywania danych wyjściowych, obsługę wielu pętli gry i etykiet dla powiązanych pętli.
Zapisywanie danych wyjściowych
Gdy Test Lab uruchamia grę, określa adres URL wskazujący lokalny
plik wyników na urządzeniu testowym, do którego można uzyskać dostęp za pomocą launchIntent.getData(). Podczas testu gra może zapisywać wyniki testów, dane o skuteczności i logi (logFile) bezpośrednio w tej lokalizacji.
W pliku logFile możesz zapisać dowolną treść , np. zwykły tekst, dane CSV, czasy renderowania klatek lub niestandardowe raporty diagnostyczne. Nie ma żadnych ograniczeń ani wymagań dotyczących formatowania zapisywanej treści. Laboratorium testów przechwytuje plik po zakończeniu testu i przesyła go do zasobnika Cloud Storage wraz z innymi artefaktami testowymi.
Test Lab stosuje sprawdzone metody udostępniania pliku między aplikacjami
opisane w Udostępnianie pliku.
W metodzie onCreate() aktywności, w której znajduje się intencja, możesz pobrać i sprawdzić plik danych wyjściowych, uruchamiając ten kod:
Kotlin
val launchIntent = intent val logFile = launchIntent.data logFile?.let { Log.i(TAG, "Log file ${it.encodedPath}") // ... }
Java
Intent launchIntent = getIntent(); Uri logFile = launchIntent.getData(); if (logFile != null) { Log.i(TAG, "Log file " + logFile.getEncodedPath()); // ... }
Jeśli chcesz zapisywać dane w pliku po stronie C++ aplikacji do gier, możesz przekazać deskryptor pliku zamiast ścieżki do pliku:
Kotlin
val launchIntent = intent val logFile = launchIntent.data var fd = -1 logFile?.let { Log.i(TAG, "Log file ${it.encodedPath}") fd = try { contentResolver .openAssetFileDescriptor(logFile, "w")!! .parcelFileDescriptor .fd } catch (e: FileNotFoundException) { e.printStackTrace() -1 } catch (e: NullPointerException) { e.printStackTrace() -1 } } // C++ code invoked here. // native_function(fd);
Java
Intent launchIntent = getIntent(); Uri logFile = launchIntent.getData(); int fd = -1; if (logFile != null) { Log.i(TAG, "Log file " + logFile.getEncodedPath()); try { fd = getContentResolver() .openAssetFileDescriptor(logFile, "w") .getParcelFileDescriptor() .getFd(); } catch (FileNotFoundException e) { e.printStackTrace(); fd = -1; } catch (NullPointerException e) { e.printStackTrace(); fd = -1; } } // C++ code invoked here. // native_function(fd);
C++
#include <unistd.h> JNIEXPORT void JNICALL Java_my_package_name_MyActivity_native_function(JNIEnv *env, jclass type, jint log_file_descriptor) { // The file descriptor needs to be duplicated. int my_file_descriptor = dup(log_file_descriptor); }
Przykład pliku wyjściowego
Chociaż Test Lab nie wymaga określonego formatu pliku logFile,
uporządkowanie danych wyjściowych w formacie JSON zgodnym z poniższym schematem umożliwia
Firebase konsoli (https://console.firebase.google.com/project/_/testlab) analizowanie i wyświetlanie podsumowujących
danych o skuteczności testu pętli gry.
Najważniejsze informacje o tym przykładzie:
- Kto dostarcza dane: Ty (deweloper testu) odpowiadasz za obliczanie i zapisywanie wszystkich danych w tym pliku z kodu gry. Test Lab nie zbiera ani nie generuje automatycznie tych punktów danych.
- Dodawanie pól niestandardowych: obszary oznaczone jako
/.../wskazują, gdzie możesz dodać dowolne niestandardowe pary klucz-wartość (np."rendered_vertices": 12000lub"ai_error_count": 0). Podczas zapisywania pliku z aplikacji możesz dodać dowolną prawidłową właściwość JSON do danych wyjściowych, o ile nazwy pól nie kolidują z polami schematu, takimi jaknameczystart_timestamp. - Gdzie znaleźć plik wyjściowy: po zakończeniu testu nieprzetworzony plik wyjściowy jest przechowywany i można go pobrać w zasobniku wyników Cloud Storage (
GCS) projektu w katalogu artefaktów testu. Przeanalizowane dane wyjściowe możesz też wyświetlić i sprawdzić na stronie Test Lab w konsoli Firebase.
Oto przykład uporządkowanego pliku wyjściowego JSON:
{
"name": "test name",
"start_timestamp": 0, // Timestamp of the test start (in us).
Can be absolute or relative
"driver_info": "...",
"frame_stats": [
{
"timestamp": 1200000, // Timestamp at which this section was written
It contains value regarding the period
start_timestamp(0) -> this timestamp (1200000 us)
"avg_frame_time": 15320, // Average time to render a frame in ns
"nb_swap": 52, // Number of frame rendered
"threads": [
{
"name": "physics",
"Avg_time": 8030 // Average time spent in this thread per frame in us
},
{
"name": "AI",
"Avg_time": 2030 // Average time spent in this thread per frame in us
}
],
/.../ // Any custom field you want (vertices display on the screen, nb units …)
},
{
// Next frame data here, same format as above
}
],
"loading_stats": [
{
"name": "assets_level_1",
"total_time": 7850, // in us
/.../
},
{
"name": "victory_screen",
"total_time": 554, // in us
/.../
}
],
/.../, // You can add custom fields here
}
Wiele pętli gry
Może się okazać, że warto uruchamiać w aplikacji wiele pętli gry. Pętla to pełne wykonanie aplikacji do gier od początku do końca. Jeśli na przykład w grze jest wiele poziomów, możesz utworzyć jedną pętlę gry, która będzie uruchamiać każdy poziom, zamiast jednej pętli, która będzie przechodzić przez wszystkie poziomy. Dzięki temu, jeśli aplikacja ulegnie awarii na poziomie 32, możesz bezpośrednio uruchomić tę pętlę gry, aby odtworzyć awarię i przetestować poprawki błędów.
Aby umożliwić aplikacji uruchamianie wielu pętli naraz:
Jeśli uruchamiasz test za pomocą Menedżera pętli testowych:
Dodaj ten wiersz do pliku manifestu aplikacji w elemencie
<application>:<meta-data android:name="com.google.test.loops" android:value="5" />
Ta intencja uruchomienia zawiera pętlę docelową jako parametr całkowity. W polu
android:valuemożesz określić liczbę całkowitą od 1 do 1024 (maksymalna liczba pętli dozwolona w jednym teście). Pamiętaj, że pętle są indeksowane od 1, a nie od 0.W aplikacji Menedżer pętli testowych pojawi się ekran wyboru, na którym możesz wybrać pętle, które chcesz uruchomić. Jeśli wybierzesz kilka pętli, każda pętla zostanie uruchomiona po zakończeniu poprzedniej.
Jeśli uruchamiasz test za pomocą konsoli Firebase, w polu Scenariusze wpisz listę lub zakres numerów pętli.
Jeśli uruchamiasz test za pomocą gcloud CLI, określ listę numerów pętli za pomocą flagi
--scenario-numbers. Na przykład--scenario-numbers=1,3,5uruchamia pętle 1, 3 i 5.Jeśli piszesz w C++ i chcesz zmienić działanie pętli, przekaż ten dodatkowy kod do kodu natywnego C++:
Kotlin
val launchIntent = intent val scenario = launchIntent.getIntExtra("scenario", 0)
Java
Intent launchIntent = getIntent(); int scenario = launchIntent.getIntExtra("scenario", 0);
Teraz możesz zmienić działanie pętli na podstawie uzyskanej wartości
int.
Etykietowanie pętli gry
Gdy oznaczysz pętle gry jedną lub kilkoma etykietami scenariusza, Ty i Twój zespół ds.zapewnienia jakości będziecie mogli łatwo uruchomić zestaw powiązanych pętli gry (np. „wszystkie pętle gry dotyczące zgodności”) i przetestować je w jednej macierzy. Możesz tworzyć własne etykiety lub używać predefiniowanych etykiet oferowanych przez Test Lab:
com.google.test.loops.player_experience: pętle używane do odtwarzania wrażeń prawdziwego użytkownika podczas grania. Celem testowania za pomocą tych pętli jest znalezienie problemów, z którymi może się spotkać prawdziwy użytkownik podczas grania.com.google.test.loops.gpu_compatibility: pętle używane do testowania problemów związanych z GPU. Celem testowania za pomocą tych pętli jest wykonanie kodu GPU, który może nie działać prawidłowo w środowisku produkcyjnym, aby wykryć problemy ze sprzętem i sterownikami.com.google.test.loops.compatibility: pętle używane do testowania szerokiego zakresu problemów ze zgodnością, w tym problemów z wejściem/wyjściem i OpenSSL.com.google.test.loops.performance: pętle używane do testowania wydajności urządzenia. Na przykład gra może być uruchamiana z najbardziej złożonymi ustawieniami grafiki, aby sprawdzić, jak zachowuje się nowe urządzenie.
Aby umożliwić aplikacji uruchamianie pętli z tą samą etykietą:
Jeśli uruchamiasz test za pomocą Menedżera pętli testowych:
W pliku manifestu aplikacji dodaj ten wiersz metadanych i zastąp LABEL_NAME wybraną etykietą:
<meta-data android:name="com.google.test.loops.LABEL_NAME" android:value="1,3-5" />
W polu
android:valuemożesz określić zakres lub zestaw liczb całkowitych od 1 do 1024 (maksymalna liczba pętli dozwolona w jednym teście), które reprezentują pętle, które chcesz oznaczyć. Pamiętaj, że pętle są indeksowane od 1, a nie od 0. Na przykładandroid:value="1,3-5"stosuje LABEL_NAME do pętli 1, 3, 4 i 5.W aplikacji Test Loop Manager w polu Etykiety wpisz jedną lub więcej etykiet.
Jeśli uruchamiasz test za pomocą konsoli Firebase, w polu Etykiety wpisz jedną lub więcej etykiet.
Jeśli uruchamiasz test za pomocą gcloud CLI, określ jedną lub więcej etykiet scenariusza za pomocą
--scenario-labelsflagi (np.--scenario-labels=performance,gpu).
Obsługa licencjonowania aplikacji
Test Lab obsługuje aplikacje, które korzystają z usługi licencjonowania aplikacji oferowanej przez Google Play. Aby pomyślnie sprawdzić licencję podczas testowania aplikacji za pomocą Test Lab, musisz opublikować aplikację w kanale produkcyjnym w Sklepie Play. Aby przetestować aplikację w kanale alfa lub beta za pomocą Test Lab, przed przesłaniem aplikacji do Test Lab usuń sprawdzanie licencji.
Znane problemy
Testy pętli gry w Test Lab mają te znane problemy:
- Niektóre awarie nie obsługują śledzenia wstecznego. Na przykład niektóre kompilacje wersji mogą pomijać dane wyjściowe procesu
debuggerdza pomocąprctl(PR_SET_DUMPABLE, 0). Więcej informacji znajdziesz w artykuledebuggerd. - Poziom API 19 nie jest obecnie obsługiwany z powodu błędów uprawnień do plików.