Erste Schritte mit Spielschleifentests

Es kann schwierig sein, das Testen von Spielen zu automatisieren, wenn Gaming-Apps auf unterschiedlichen UI-Frameworks basieren. Mit Game Loop-Tests können Sie Ihre nativen Tests in Test Lab einbinden und ganz einfach auf den von Ihnen ausgewählten Geräten ausführen. Bei einem Game Loop-Test wird Ihr Test in Ihrer Gaming-App ausgeführt, während die Aktionen eines echten Spielers simuliert werden. In dieser Anleitung erfahren Sie, wie Sie einen Game Loop-Test ausführen und die Testergebnisse in der Firebase-Konsole ansehen und verwalten.

Je nach Spiele-Engine können Sie Tests mit einzelnen oder mehreren Schleifen implementieren. Eine Schleife ist ein vollständiger oder teilweiser Durchlauf Ihres Tests für Ihre Gaming-App. Spielschleifen können für Folgendes verwendet werden:

• Spielen Sie ein Level Ihres Spiels so, wie es ein Endnutzer tun würde. Sie können entweder die Eingabe des Nutzers skripten, den Nutzer inaktiv lassen oder den Nutzer durch eine KI ersetzen, wenn dies in Ihrem Spiel sinnvoll ist (z.B. wenn Sie eine Rennspiel-App haben und bereits eine KI implementiert ist). Sie können ganz einfach einen KI-Treiber für die Eingabe des Nutzers festlegen.
• Führen Sie Ihr Spiel mit der höchsten Qualitätseinstellung aus, um zu sehen, ob Geräte diese unterstützen.
• Führen Sie einen technischen Test durch (kompilieren Sie mehrere Shader, führen Sie sie aus, prüfen Sie, ob die Ausgabe wie erwartet ist usw.).

Sie können einen Spielschleifentest auf einem einzelnen Testgerät, einer Gruppe von Testgeräten oder auf Test Lab ausführen. Wir empfehlen jedoch nicht, Game Loop-Tests auf virtuellen Geräten auszuführen, da sie niedrigere Grafiken-Framerate als physische Geräte haben.

Hinweis: Test Lab bietet zusätzliche Funktionen, mit denen Sie Ihre Game Loop-Tests anpassen können. So können Sie beispielsweise mehrere Loops gleichzeitig ausführen oder Ihre Loops mit Labels organisieren. Weitere Informationen zu diesen Funktionen finden Sie unter Optionale Funktionen.

Hinweis

Wenn Sie einen Test implementieren möchten, müssen Sie Ihre App zuerst für Game Loop-Tests konfigurieren.

1. Fügen Sie in Ihrem App-Manifest Ihrer activity einen neuen Intent-Filter hinzu:

   <activity android:name=".MyActivity">
      <intent-filter>
          <action android:name="com.google.intent.action.TEST_LOOP"/>
          <category android:name="android.intent.category.DEFAULT"/>
          <data android:mimeType="application/javascript"/>
      </intent-filter>
      <intent-filter>
         ... (other intent filters here)
      </intent-filter>
   </activity>

   So kann Test Lab Ihr Spiel starten, indem es mit einer bestimmten Intention ausgelöst wird.

   Hinweis :Für Game-Loops ist ein separater, dedizierter Intent-Filter erforderlich, der nicht für andere Zwecke verwendet wird. Ihre Aktivität kann andere Intent-Filter enthalten. Weitere Informationen zu Intent-Filtern finden Sie auf der Referenzseite zu<intent-filter>.

2. Fügen Sie in Ihrem Code (wir empfehlen in der onCreate-Methodendeklaration) Folgendes hinzu:

   Kotlin

   val launchIntent = intent
   if (launchIntent.action == "com.google.intent.action.TEST_LOOP") {
       val scenario = launchIntent.getIntExtra("scenario", 0)
       // Code to handle your game loop here
   }
   MainActivity.kt

   Java

   Intent launchIntent = getIntent();
   if(launchIntent.getAction().equals("com.google.intent.action.TEST_LOOP")) {
       int scenario = launchIntent.getIntExtra("scenario", 0);
       // Code to handle your game loop here
   }
   MainActivity.java

   So kann Ihre Aktivität den Intent prüfen, mit dem sie gestartet wird. Sie können diesen Code auch später hinzufügen, z.B. nachdem Sie Ihre Spiele-Engine geladen haben.

3. Empfehlung: Fügen Sie am Ende des Tests Folgendes hinzu:

   Kotlin

   yourActivity.finish()
   MainActivity.kt

   Java

   yourActivity.finish();
   MainActivity.java

   Dadurch wird Ihre App geschlossen, wenn der Game Loop-Test abgeschlossen ist. Der Test ist darauf angewiesen, dass das UI-Framework Ihrer App den nächsten Loop startet. Wenn Sie Ihre App schließen, wird dem Framework mitgeteilt, dass der Test abgeschlossen ist.

Spielschleifentest erstellen und ausführen

Nachdem Sie Ihre App für Game Loop-Tests konfiguriert haben, können Sie sofort einen Test erstellen und in Ihrer Gaming-App ausführen. Sie können einen Test in Test Lab entweder über die Firebase-Konsole oder die gcloud-Befehlszeile oder auf einem lokalen Gerät mit dem Test Loop Manager ausführen.

Auf einem lokalen Gerät ausführen

Der Test Loop Manager von Test Lab ist eine Open-Source-App, mit der Sie Game Loop-Tests einbinden und auf Ihren lokalen Geräten ausführen können. Außerdem kann Ihr Qualitätssicherungsteam dieselben Game-Loops auf seinen Geräten ausführen.

So führen Sie einen Test auf einem lokalen Gerät mit dem Test Loop Manager aus:

1. Laden Sie den Test Loop Manager auf ein Smartphone oder Tablet herunter und installieren Sie ihn mit folgendem Befehl:

   adb install testloopmanager.apk

2. Öffnen Sie auf Ihrem Smartphone oder Tablet die App Test Loop Apps. In der App wird eine Liste der Apps auf Ihrem Gerät angezeigt, die mit Game-Loops ausgeführt werden können. Wenn Ihre Gaming-App hier nicht angezeigt wird, prüfen Sie, ob Ihr Intent-Filter mit dem im ersten Schritt des Abschnitts Vorbereitung beschriebenen Filter übereinstimmt.
3. Wählen Sie Ihre Gaming-App und dann die Anzahl der Schleifen aus, die Sie ausführen möchten. Hinweis: In diesem Schritt können Sie auch eine Teilmenge von Schleifen anstelle von nur einer Schleife ausführen. Weitere Informationen zum gleichzeitigen Ausführen mehrerer Schleifen finden Sie unter Optionale Funktionen.
4. Klicken Sie auf Testen. Ihr Test wird sofort ausgeführt.

Hinweis: Für Game Loop-Tests gilt ein Standardzeitlimit von drei Minuten. Wenn das Zeitlimit abläuft, wird der Test beendet und alle ausstehenden Schleifen werden abgebrochen. Wenn Sie in der App Test Loop Manager ein anderes Zeitlimit festlegen möchten, klicken Sie auf das Menü > Zeitlimit festlegen und ändern Sie dann das Zeitlimit im angezeigten Dialogfeld.

Ausführen in Test Lab

Sie können einen Game Loop-Test in Test Lab entweder mit der Firebase Console oder der gcloud CLI ausführen. Bevor Sie beginnen, öffnen Sie die Firebase-Konsole und erstellen Sie ein Projekt, falls Sie dies noch nicht getan haben.

Hinweis :Sie können Test Lab kostenlos mit dem Spark-Tarif verwenden, der ein begrenztes Tageskontingent umfasst. Weitere Informationen zu anderen Tarifen und Nutzungslimits finden Sie unter Firebase-Tarife.

Firebase-Konsole verwenden

1. Klicken Sie in der Firebase-Konsole im linken Bereich auf Test Lab.
2. Klicken Sie auf Ersten Test ausführen (oder auf Test ausführen, wenn in Ihrem Projekt bereits ein Test ausgeführt wurde).
3. Wählen Sie Game Loop als Testtyp aus und klicken Sie auf Weiter.
4. Klicken Sie auf Durchsuchen und suchen Sie nach der .apk-Datei Ihrer App. Hinweis: In diesem Schritt können Sie auch eine Teilmenge von Schleifen anstelle von nur einer Schleife ausführen. Weitere Informationen zum gleichzeitigen Ausführen mehrerer Schleifen finden Sie unter Optionale Funktionen.
5. Klicken Sie auf Weiter.
6. Wählen Sie die physischen Geräte aus, mit denen Sie Ihre App testen möchten.
7. Klicken Sie auf Tests starten.

Weitere Informationen zu den ersten Schritten mit der Firebase Console finden Sie unter Mit der Firebase Console testen.

gcloud-Befehlszeile verwenden

1. Laden Sie das Google Cloud SDK herunter und installieren Sie es, falls noch nicht geschehen.

2. Melden Sie sich mit Ihrem Google-Konto in der gcloud CLI an:

   gcloud auth login

3. Legen Sie Ihr Firebase-Projekt in gcloud fest. Dabei ist PROJECT_ID die ID Ihres Firebase-Projekts:

   gcloud config set project PROJECT_ID
   

4. Ersten Test ausführen:

   gcloud firebase test android run \
    --type=game-loop --app=<var>path-to-apk</var> \
    --device model=herolte,version=23
   

   Hinweis :In diesem Schritt können Sie auch eine Teilmenge von Schleifen anstelle von nur einer Schleife ausführen. Weitere Informationen zum gleichzeitigen Ausführen mehrerer Schleifen finden Sie unter Optionale Funktionen.

Weitere Informationen zu den ersten Schritten mit der gcloud CLI finden Sie unter Tests über die gcloud-Befehlszeile starten.

Optionale Funktionen

Test Lab bietet mehrere optionale Funktionen, mit denen Sie Ihre Tests weiter anpassen können. Dazu gehören die Möglichkeit, Ausgabedaten zu schreiben, die Unterstützung mehrerer Game-Loops und Labels für zugehörige Loops.

Ausgabedaten schreiben

Ihr Game Loop-Test kann die Ausgabe in eine Datei schreiben, die in der Methode launchIntent.getData() angegeben ist. Nachdem Sie einen Test ausgeführt haben, können Sie auf diese Ausgabedaten im Bereich Test Lab der Firebase-Konsole zugreifen (siehe Beispieldatei für die Ausgabe von Game Loop-Tests).

Test Lab folgt den Best Practices für die gemeinsame Nutzung einer Datei zwischen Apps, die unter Eine Datei freigeben beschrieben werden. In der onCreate()-Methode Ihrer Aktivität, in der sich Ihr Intent befindet, können Sie Ihre Datenausgabedatei mit dem folgenden Code prüfen:

Kotlin

val launchIntent = intent
val logFile = launchIntent.data
logFile?.let {
    Log.i(TAG, "Log file ${it.encodedPath}")
    // ...
}
MainActivity.kt

Java

Intent launchIntent = getIntent();
Uri logFile = launchIntent.getData();
if (logFile != null) {
    Log.i(TAG, "Log file " + logFile.getEncodedPath());
    // ...
}
MainActivity.java

Wenn Sie von der C++-Seite Ihrer Spiele-App in die Datei schreiben möchten, können Sie den Dateideskriptor anstelle des Dateipfads übergeben:

Kotlin

val launchIntent = intent
val logFile = launchIntent.data
var fd = -1
logFile?.let {
    Log.i(TAG, "Log file ${it.encodedPath}")
    fd = try {
        contentResolver
            .openAssetFileDescriptor(logFile, "w")!!
            .parcelFileDescriptor
            .fd
    } catch (e: FileNotFoundException) {
        e.printStackTrace()
        -1
    } catch (e: NullPointerException) {
        e.printStackTrace()
        -1
    }
}

// C++ code invoked here.
// native_function(fd);
MainActivity.kt

Java

Intent launchIntent = getIntent();
Uri logFile = launchIntent.getData();
int fd = -1;
if (logFile != null) {
    Log.i(TAG, "Log file " + logFile.getEncodedPath());
    try {
        fd = getContentResolver()
                .openAssetFileDescriptor(logFile, "w")
                .getParcelFileDescriptor()
                .getFd();
    } catch (FileNotFoundException e) {
        e.printStackTrace();
        fd = -1;
    } catch (NullPointerException e) {
        e.printStackTrace();
        fd = -1;
    }
}

// C++ code invoked here.
// native_function(fd);
MainActivity.java

C++

#include <unistd.h>
JNIEXPORT void JNICALL
Java_my_package_name_MyActivity_native_function(JNIEnv *env, jclass type, jint log_file_descriptor) {
// The file descriptor needs to be duplicated.
int my_file_descriptor = dup(log_file_descriptor);
}

Beispiel für Ausgabedatei

Sie können Ausgabedatendateien (wie im Beispiel unten formatiert) verwenden, um die Testergebnisse von Game-Loops im Bereich Test Lab der Firebase-Konsole anzuzeigen. Bereiche, die als /.../ dargestellt werden, können beliebige benutzerdefinierte Felder enthalten, die Sie benötigen, sofern sie nicht mit den Namen anderer Felder in dieser Datei in Konflikt stehen:

{
  "name": "test name",
  "start_timestamp": 0, // Timestamp of the test start (in us).
                           Can be absolute or relative
  "driver_info": "...",
  "frame_stats": [
    {
      "timestamp": 1200000, // Timestamp at which this section was written
                               It contains value regarding the period
                               start_timestamp(0) -> this timestamp (1200000 us)
      "avg_frame_time": 15320, // Average time to render a frame in ns
      "nb_swap": 52, // Number of frame rendered
      "threads": [
        {
          "name": "physics",
          "Avg_time": 8030 // Average time spent in this thread per frame in us
        },
        {
          "name": "AI",
          "Avg_time": 2030 // Average time spent in this thread per frame in us
        }
      ],
      /.../ // Any custom field you want (vertices display on the screen, nb units …)
    },
    {
      // Next frame data here, same format as above
    }
  ],
  "loading_stats": [
    {
      "name": "assets_level_1",
      "total_time": 7850, // in us
      /.../
    },
    {
      "name": "victory_screen",
      "total_time": 554, // in us
      /.../
    }

  ],
  /.../, // You can add custom fields here
}

Mehrere Spielschleifen

Es kann sinnvoll sein, mehrere Spielschleifen in Ihrer App auszuführen. Eine Schleife ist ein vollständiger Durchlauf Ihrer Spiele-App von Anfang bis Ende. Wenn Ihr Spiel beispielsweise mehrere Level hat, sollten Sie für jedes Level einen eigenen Game-Loop verwenden, anstatt einen Loop, der alle Level durchläuft. Wenn Ihre App beispielsweise auf Level 32 abstürzt, können Sie diesen Game-Loop direkt starten, um den Absturz zu reproduzieren und Fehlerkorrekturen zu testen.

So ermöglichen Sie, dass Ihre App mehrere Schleifen gleichzeitig ausführt:

• Wenn Sie einen Test mit dem Test Loop Manager durchführen:

  1. Fügen Sie dem Manifest Ihrer App innerhalb des <application>-Elements die folgende Zeile hinzu:

     <meta-data
       android:name="com.google.test.loops"
       android:value="5" />

     Dieser Start-Intent enthält die Zielgruppe als Ganzzahlparameter. Im Feld android:value können Sie eine Ganzzahl von 1 bis 1024 angeben (die maximale Anzahl von Schleifen, die für einen einzelnen Test zulässig sind). Schleifen werden ab 1 und nicht ab 0 indexiert.

  2. In der Test Loop Manager App wird ein Auswahlbildschirm angezeigt, auf dem Sie die Schleifen auswählen können, die Sie ausführen möchten. Wenn Sie mehrere Schleifen auswählen, wird jede Schleife nacheinander gestartet, nachdem die vorherige Schleife abgeschlossen ist.

• Wenn Sie einen Test mit der Firebase-Konsole ausführen, geben Sie im Feld Szenarien eine Liste oder einen Bereich von Schleifennummern ein.

• Wenn Sie einen Test mit der gcloud CLI ausführen, geben Sie eine Liste von Schleifennummern mit dem Flag --scenario-numbers an. Beispiel: --scenario-numbers=1,3,5 führt die Schleifen 1, 3 und 5 aus.

• Wenn Sie C++ schreiben und das Verhalten Ihrer Schleife ändern möchten, übergeben Sie den folgenden Extra an Ihren nativen C++-Code:

  Kotlin

  val launchIntent = intent
  val scenario = launchIntent.getIntExtra("scenario", 0)
  MainActivity.kt

  Java

  Intent launchIntent = getIntent();
  int scenario = launchIntent.getIntExtra("scenario", 0);
  MainActivity.java

  Sie können das Verhalten des Loops jetzt basierend auf dem resultierenden int-Wert ändern.

Spielschleifen labeln

Wenn Sie Ihre Game-Loops mit einem oder mehreren Szenariolabels kennzeichnen, können Sie und Ihr QA-Team ganz einfach eine Reihe von zusammengehörigen Game-Loops starten, z.B. „alle Kompatibilitäts-Game-Loops“) und testen Sie sie in einer einzelnen Matrix. Sie können eigene Labels erstellen oder die vordefinierten Labels von Test Lab verwenden:

• com.google.test.loops.player_experience: For-Schleifen, die verwendet werden, um die Erfahrung eines echten Nutzers beim Spielen des Spiels zu reproduzieren. Ziel der Tests mit diesen Schleifen ist es, Probleme zu finden, die bei einem echten Nutzer beim Spielen auftreten würden.
• com.google.test.loops.gpu_compatibility: For-Schleifen, die zum Testen von GPU-bezogenen Problemen verwendet werden. Ziel der Tests mit diesen Schleifen ist es, GPU-Code auszuführen, der in der Produktion möglicherweise nicht richtig ausgeführt wird, um Probleme mit Hardware und Treibern aufzudecken.
• com.google.test.loops.compatibility: For-Schleifen, mit denen eine Vielzahl von Kompatibilitätsproblemen getestet werden, darunter E/A- und OpenSSL-Probleme.
• com.google.test.loops.performance: For-Schleifen zum Testen der Leistung des Geräts. Ein Spiel wird beispielsweise mit den komplexesten Grafikeinstellungen ausgeführt, um zu sehen, wie sich ein neues Gerät verhält.

So ermöglichen Sie, dass Ihre App Schleifen mit demselben Label ausführt:

• Wenn Sie einen Test mit dem Test Loop Manager durchführen:

  1. Fügen Sie im Manifest Ihrer App die folgende Metadatenzeile hinzu und ersetzen Sie LABEL_NAME durch ein Label Ihrer Wahl:

     <meta-data
      android:name="com.google.test.loops.LABEL_NAME"
      android:value="1,3-5" />

     Im Feld android:value können Sie einen Bereich oder eine Menge von Ganzzahlen zwischen 1 und 1.024 (der maximal zulässigen Anzahl von Schleifen für einen einzelnen Test) angeben, die die Schleifen darstellen, die Sie labeln möchten. Schleifen werden ab 1 und nicht ab 0 indexiert. Beispiel: android:value="1,3-5" wendet LABEL_NAME auf die Schleifen 1, 3, 4 und 5 an.

  2. Geben Sie in der Test Loop Manager App ein oder mehrere Labels in das Feld Labels ein.

• Wenn Sie einen Test mit der Firebase-Konsole ausführen, geben Sie ein oder mehrere Labels in das Feld Labels ein.

• Wenn Sie einen Test mit der gcloud CLI ausführen, geben Sie ein oder mehrere Szenariolabels mit dem Flag --scenario-labels an (z.B. --scenario-labels=performance,gpu).

Support für die App-Lizenzierung

Test Lab unterstützt Apps, die den von Google Play angebotenen App-Lizenzierungsservice nutzen. Damit die Lizenzierung beim Testen Ihrer App mit Test Lab erfolgreich geprüft werden kann, müssen Sie Ihre App im Play Store im Produktionschannel veröffentlichen. Wenn Sie Ihre App im Alpha- oder Betakanal mit Test Lab testen möchten, entfernen Sie die Lizenzprüfung, bevor Sie Ihre App in Test Lab hochladen.

Bekannte Probleme

Für Spielschleifentests in Test Lab sind die folgenden Probleme bekannt:

• Für einige Abstürze sind keine Backtraces verfügbar. Beispielsweise kann bei einigen Release-Builds die Ausgabe des debuggerd-Prozesses mit prctl(PR_SET_DUMPABLE, 0) unterdrückt werden. Weitere Informationen finden Sie unter debuggerd.
• API-Level 19 wird derzeit aufgrund von Dateiberechtigungsfehlern nicht unterstützt.