In-App-Messaging-Tests mit A/B Testing erstellen

Wenn Sie sich an Ihre Nutzer wenden oder eine neue Marketingkampagne starten, sollten Sie alles richtig machen. Mit A/B-Tests können Sie die optimale Formulierung und Präsentation finden, indem Sie Varianten der Mitteilung an ausgewählten Teilen Ihrer Nutzerbasis testen. Unabhängig davon, ob Sie die Bindung verbessern oder mehr Conversions mit einem Angebot erzielen möchten, können Sie mit A/B-Tests statistische Analysen durchführen, um festzustellen, ob eine Nachrichtenvariante die Baseline für das ausgewählte Zielvorhaben übertrifft.

So führen Sie einen A/B-Test für Funktionsvarianten mit einer Baseline durch:

1. Erstellen Sie den Test.
2. Testen Sie den Test auf einem Testgerät.
3. Verwalten Sie den Test.

Wichtig: Sie benötigen die Mindest-SDK-Version für A/B Testing: Google Play-Dienste 11.4.2 für Android und Firebase SDK für Apple-Plattformen 4.5.0.

Test erstellen

Mit einem Test, bei dem Firebase In-App Messaging verwendet wird, können Sie mehrere Varianten einer einzelnen In-App-Mitteilung bewerten.

1. Melden Sie sich in der Firebase Console an und prüfen Sie, ob Google Analytics in Ihrem Projekt aktiviert ist, damit der Test Zugriff auf Analytics-Daten hat.

   Wenn Sie Google Analytics beim Erstellen Ihres Projekts nicht aktiviert haben, können Sie dies auf dem Tab Integrationen tun. Diesen Tab erreichen Sie in der Firebase Console über  > Projekteinstellungen.

2. Klicken Sie im Navigationsmenü der Firebase Console im Bereich Engage auf A/B Testing.

3. Klicken Sie auf Test erstellen und wählen Sie dann In-App-Messaging aus, wenn Sie gefragt werden, welchen Dienst Sie testen möchten.

4. Alternativ können Sie im Navigationsmenü der Firebase Console die Option Engage maximieren und dann auf In-App Messaging klicken. Klicken Sie dann auf Neuer Test.

5. Geben Sie einen Namen und optional eine Beschreibung für den Test ein und klicken Sie auf Weiter.

6. Füllen Sie die Felder Ausrichtung aus und wählen Sie zuerst die App aus, in der Sie den Test verwenden möchten. Sie können auch eine Untergruppe von Nutzern auf die Teilnahme an Ihrem Test ausrichten, indem Sie Optionen auswählen, die Folgendes beinhalten:

   • Version: Eine oder mehrere Versionen Ihrer App
   • Nutzergruppe: Analytics Zielgruppen, die auf Nutzer ausgerichtet sind, die möglicherweise am Test teilnehmen
   • Nutzereigenschaft: Eine oder mehrere Analytics-Nutzereigenschaften, mit denen Nutzer ausgewählt werden, die am Test teilnehmen könnten
   • Land/Region: Mindestens ein Land oder eine Region, um Nutzer auszuwählen, die in den Test einbezogen werden sollen
   • Gerätesprache:Eine oder mehrere Sprachen und Gebietsschemas zur Auswahl der Nutzer, die am Test teilnehmen können
   • Erstes Öffnen: Ausrichtung auf Nutzer, die Ihre App zum ersten Mal geöffnet haben
   • Letztes App-Engagement:Richten Sie Ihre Anzeigen auf Nutzer basierend auf dem Zeitpunkt aus, an dem sie das letzte Mal mit Ihrer App interagiert haben.
   Hinweis: Bei Tests, die auf Analytics-Nutzergruppen ausgerichtet sind, kann es 24 bis 48 Stunden dauern, bis genügend Daten erfasst wurden. Weitere Informationen zu dieser und anderen Targeting-Optionen finden Sie unter Targeting auf Nutzer.

7. Legen Sie den Prozentsatz der Zielnutzer fest:Wählen Sie den Prozentsatz der Nutzerbasis Ihrer App aus, der den unter Zielnutzer festgelegten Kriterien entspricht und den Sie gleichmäßig zwischen der Baseline und einer oder mehreren Varianten im Test aufteilen möchten. Dies kann ein beliebiger Prozentsatz zwischen 0,01 % und 100 % sein. Die Prozentsätze werden Nutzern für jeden Test nach dem Zufallsprinzip neu zugewiesen, auch bei duplizierten Tests.

8. Konfigurieren Sie im Bereich Varianten eine In-App-Nachricht für die Kontrollgruppe. Verwenden Sie dazu die Benutzeroberfläche zum Erstellen von Nachrichten, die Sie auch für eine normale In-App-Messaging-Kampagne verwenden.

9. Klicken Sie auf Variante hinzufügen, um dem Test eine Variante hinzuzufügen. Standardmäßig haben Tests eine Baseline und eine Variante.

10. Optional: Geben Sie einen aussagekräftigeren Namen für jede Variante ein.

11. Optional: Klicken Sie oben im Bereich Varianten auf die Schaltfläche Varianten vergleichen, um eine weitere Nachrichtenvariante mit der Kontrollnachricht zu vergleichen.

12. Definieren Sie einen Zielmesswert für Ihren Test, der bei der Bewertung der Testvarianten verwendet werden soll, sowie alle zusätzlichen Messwerte aus der Liste, die Sie verwenden möchten. Dazu gehören integrierte Zielvorhaben wie „Interaktionen“, „Käufe“, „Umsatz“ und „Bindung“. Analytics-Conversion-Ereignisse und andere Analytics-Ereignisse.

13. Konfigurieren Sie die Planung für den Test:

    • Legen Sie ein Startdatum und ein Enddatum für den Test fest.
    • Legen Sie fest, wie In-App-Nachrichten in allen Varianten ausgelöst werden.

14. Klicken Sie auf Überprüfen, um den Test zu speichern.

Sie können pro Projekt bis zu 300 Tests ausführen, die aus bis zu 24 laufenden Tests bestehen können, wobei der Rest als Entwurf oder abgeschlossen ist.

Test auf einem Testgerät validieren

Sie können für jede Firebase-Installation das zugehörige Authentifizierungstoken abrufen. Mit diesem Token können Sie bestimmte Testvarianten auf einem Testgerät mit Ihrer App testen. So validieren Sie Ihren Test auf einem Testgerät:

1. So rufen Sie das Authentifizierungstoken für die Installation ab:

   Swift

   do {
     let result = try await Installations.installations()
       .authTokenForcingRefresh(true)
     print("Installation auth token: \(result.authToken)")
   } catch {
     print("Error fetching token: \(error)")
   }

   Objective-C

   [[FIRInstallations installations] authTokenForcingRefresh:true
                                                  completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
     if (error != nil) {
       NSLog(@"Error fetching Installation token %@", error);
       return;
     }
     NSLog(@"Installation auth token: %@", [result authToken]);
   }];

   Java

   FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
           .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
       @Override
       public void onComplete(@NonNull Task<InstallationTokenResult> task) {
           if (task.isSuccessful() && task.getResult() != null) {
               Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
           } else {
               Log.e("Installations", "Unable to get Installation auth token");
           }
       }
   });
   MainActivity.java

   Kotlin+KTX

   val forceRefresh = true
   FirebaseInstallations.getInstance().getToken(forceRefresh)
       .addOnCompleteListener { task ->
           if (task.isSuccessful) {
               Log.d("Installations", "Installation auth token: " + task.result?.token)
           } else {
               Log.e("Installations", "Unable to get Installation auth token")
           }
       }
   MainActivity.kt

2. Klicken Sie in der Navigationsleiste der Firebase Console auf A/B-Tests.
3. Klicken Sie auf Entwurf (und/oder Aktuell für Remote Config-Tests), bewegen Sie den Mauszeiger auf den Test, klicken Sie auf das Kontextmenü  und dann auf Testgeräte verwalten.
4. Gib das Authentifizierungstoken für die Installation für ein Testgerät ein und wähle die Testvariante aus, die an dieses Testgerät gesendet werden soll.
5. Führen Sie die App aus und prüfen Sie, ob die ausgewählte Variante auf dem Testgerät empfangen wird.

Weitere Informationen zu Firebase-Installationen finden Sie unter Firebase-Installationen verwalten.

Test verwalten

Unabhängig davon, ob Sie einen Test mit Remote Config, dem Benachrichtigungs-Editor oder Firebase In-App Messaging erstellen, können Sie ihn validieren und starten, während des Tests beobachten und die Anzahl der Nutzer erhöhen, die am laufenden Test teilnehmen.

Nach Abschluss des Tests können Sie sich die Einstellungen der erfolgreichen Variante notieren und diese dann für alle Nutzer einführen. Alternativ können Sie einen weiteren Test durchführen.

Test starten

1. Klicken Sie im Navigationsmenü der Firebase Console im Bereich Engage auf A/B Testing.
2. Klicken Sie auf Entwurf und dann auf den Titel des Tests.
3. Prüfen Sie, ob Ihre App Nutzer hat, die in den Test einbezogen werden sollen. Maximieren Sie dazu die Details zum Entwurf und sehen Sie nach, ob im Bereich Targeting und Verteilung eine Zahl größer als 0 % steht (z. B. 1 % der Nutzer erfüllen die Kriterien).
4. Klicken Sie auf Bearbeiten, um den Test zu ändern.
5. Klicken Sie auf Test starten, um den Test zu starten. Sie können bis zu 24 Tests pro Projekt gleichzeitig durchführen.

Test beobachten

Sobald ein Test eine Weile läuft, können Sie den Fortschritt prüfen und sich ansehen, wie die Ergebnisse für die Nutzer aussehen, die bisher am Test teilgenommen haben.

1. Klicken Sie im Navigationsmenü der Firebase Console im Bereich Engage auf A/B Testing.

2. Klicken Sie auf Aktiv und dann auf den Titel des Tests oder suchen Sie danach. Auf dieser Seite finden Sie verschiedene beobachtete und modellierte Statistiken zu Ihrem laufenden Test, darunter:

   • Abweichung von ursprünglicher Variante in %: Ein Maß für die Verbesserung eines Messwerts für eine bestimmte Variante im Vergleich zur ursprünglichen Variante. Wird berechnet, indem der Wertebereich der Variante mit dem Wertebereich der Kontrollgruppe verglichen wird.
   • Wahrscheinlichkeit, die ursprüngliche Variante zu übertreffen: Die geschätzte Wahrscheinlichkeit, dass eine bestimmte Variante die Baseline für den ausgewählten Messwert übertrifft.
   • observed_metric pro Nutzer: Basierend auf Testergebnissen ist dies der voraussichtliche Bereich, in den der Messwert im Laufe der Zeit fallen wird.
   • Summe observed_metric: Der beobachtete kumulative Wert für die Kontrollgruppe oder Variante. Mit diesem Wert wird die Leistung der einzelnen Testvarianten gemessen und die Werte Verbesserung, Wertbereich, Wahrscheinlichkeit, die Baseline zu übertreffen und Wahrscheinlichkeit, die beste Variante zu sein berechnet. Je nach Messwert wird diese Spalte möglicherweise als „Dauer pro Nutzer“, „Umsatz pro Nutzer“, „Bindungsrate“ oder „Conversion-Rate“ bezeichnet.

3. Nachdem der Test eine Weile gelaufen ist (mindestens 7 Tage für FCM und In-App Messaging oder 14 Tage für Remote Config), geben die Daten auf dieser Seite an, welche Variante gegebenenfalls die beste Variante ist. Einige Messwerte werden von einem Balkendiagramm begleitet, in dem die Daten visuell dargestellt werden.

Tipp: Sie können nach Spalte sortieren und Ihre A/B-Tests nach Name und Teststatus filtern.

Test für alle Nutzer einführen

Wenn ein Test so lange gedauert hat, dass Sie die beste Variante für den entsprechenden Zielmesswert ermittelt haben, können Sie den Test auf alle Nutzer ausweiten. So können Sie eine Variante auswählen, die in Zukunft für alle Nutzer veröffentlicht werden soll. Auch wenn keine Variante die beste ist, können Sie eine Variante für alle Nutzer freigeben.

1. Klicken Sie im Navigationsmenü der Firebase Console im Bereich Engage auf A/B Testing.
2. Klicken Sie auf Abgeschlossen oder Aktuell, klicken Sie auf einen Test, den Sie für alle Nutzer freigeben möchten, und dann auf das Kontextmenü () Variante bereitstellen.

3. Führen Sie den Test für alle Nutzer ein. Gehen Sie dazu so vor:

   • Wenn für einen Test der Benachrichtigungs-Editor verwendet wird, können Sie die Nachricht über das Dialogfeld Roll-out-Nachricht an die übrigen Zielnutzer senden, die nicht am Test teilgenommen haben.
   • Wählen Sie für einen Remote Config-Test eine Variante aus, um zu bestimmen, welche Remote Config-Parameterwerte aktualisiert werden sollen. Die beim Erstellen des Tests festgelegten Targeting-Kriterien werden Ihrer Vorlage als neue Bedingung hinzugefügt, damit die Einführung nur Nutzer betrifft, auf die der Test ausgerichtet ist. Klicken Sie auf In Remote Config überprüfen, um die Änderungen zu sehen. Klicken Sie zum Abschluss auf Änderungen veröffentlichen.
   • Legen Sie im Dialogfeld für einen In-App Messaging-Test fest, welche Variante als eigenständige In-App Messaging-Kampagne eingeführt werden soll. Danach werden Sie zum FIAM-Compose-Bildschirm weitergeleitet, wo Sie vor der Veröffentlichung gegebenenfalls Änderungen vornehmen können.

Test erweitern

Wenn ein Test nicht genügend Nutzer erreicht, um mit A/B Testing einen Gewinner zu ermitteln, können Sie die Auslieferung des Tests erhöhen, um einen größeren Prozentsatz der Nutzerbasis der App zu erreichen.

1. Klicken Sie im Navigationsmenü der Firebase Console im Bereich Engage auf A/B Testing.
2. Wählen Sie den laufenden Test aus, den Sie bearbeiten möchten.
3. Klicken Sie in der Testübersicht auf das Kontextmenü () und dann auf Laufenden Test bearbeiten.
4. Im Dialogfeld Targeting können Sie den Prozentsatz der Nutzer erhöhen, die am laufenden Test teilnehmen. Wählen Sie eine Zahl aus, die größer als der aktuelle Prozentsatz ist, und klicken Sie auf Veröffentlichen. Der Test wird für den von Ihnen angegebenen Prozentsatz der Nutzer eingeführt.

Test duplizieren oder beenden

1. Klicken Sie im Navigationsmenü der Firebase-Konsole im Bereich Interagieren auf A/B Testing.
2. Klicken Sie auf Abgeschlossen oder Laufend, bewegen Sie den Mauszeiger auf den Test, klicken Sie auf das Kontextmenü () und dann auf Test duplizieren oder Test beenden.

Nutzer-Targeting

Sie können die Nutzer, die in Ihren Test einbezogen werden sollen, anhand der folgenden Kriterien für das Nutzer-Targeting auswählen.

Targeting-Kriterium	Betreiber	Wert(e)	Hinweis
Version	enthält, enthält nicht, stimmt genau überein, enthält Regex	Geben Sie einen Wert für eine oder mehrere App-Versionen ein, die Sie in den Test aufnehmen möchten.	Wenn Sie einen der Operatoren enthält, enthält nicht oder stimmt genau überein verwenden, können Sie eine durch Kommas getrennte Liste von Werten angeben. Wenn Sie den Operator enthält regulären Ausdruck verwenden, können Sie reguläre Ausdrücke im RE2-Format erstellen. Ihr regulärer Ausdruck kann mit dem gesamten oder einem Teil des Zielversionsstrings übereinstimmen. Sie können auch die Anker ^ und $ verwenden, um den Anfang, das Ende oder die Gesamtheit eines Zielstrings abzugleichen.
Nutzerzielgruppe(n)	enthält alle, enthält mindestens eines von, enthält nicht alle, enthält nicht mindestens eines von	Wählen Sie eine oder mehrere Analytics-Zielgruppen aus, um Nutzer anzusprechen, die möglicherweise in Ihren Test einbezogen werden.	Bei einigen Tests, die auf Google Analytics-Zielgruppen ausgerichtet sind, kann es einige Tage dauern, bis genügend Daten erfasst wurden. Das liegt daran, dass bei diesen Tests eine Analytics-Verzögerung bei der Datenverarbeitung auftritt. Diese Verzögerung tritt am ehesten bei neuen Nutzern auf, die in der Regel 24 bis 48 Stunden nach der Erstellung in Zielgruppen aufgenommen werden, die die Kriterien erfüllen. Das gilt auch für kürzlich erstellte Zielgruppen.
Nutzereigenschaft	Für Text: enthält, enthält nicht, stimmt genau überein, enthält regulären Ausdruck Für Zahlen: <, ≤, =, ≥, >	Mit einer Analytics-Nutzereigenschaft können Nutzer ausgewählt werden, die in einen Test aufgenommen werden sollen. Es gibt verschiedene Optionen, um Werte für Nutzereigenschaften auszuwählen. Auf dem Client können Sie nur Stringwerte für Nutzereigenschaften festlegen. Bei Bedingungen mit numerischen Operatoren wandelt der Remote Config-Dienst den Wert der entsprechenden Nutzereigenschaft in eine Ganzzahl/Fließkommazahl um.	Wenn Sie den Operator enthält regulären Ausdruck verwenden, können Sie reguläre Ausdrücke im RE2-Format erstellen. Der reguläre Ausdruck kann ganz oder teilweise mit dem String der Zielversion übereinstimmen. Sie können auch die Anker ^ und $ verwenden, um den Anfang, das Ende oder die Gesamtheit eines Zielstrings abzugleichen.
Land/Region	–	Ein oder mehrere Länder oder Regionen zur Auswahl von Nutzern, die am Test teilnehmen könnten.
Sprachen	–	Eine oder mehrere Sprachen und Regionen zur Auswahl von Nutzern, die am Test teilnehmen könnten.
Erstes Öffnen	Mehr als Weniger als Zwischen	Ausrichtung auf Nutzer, die Ihre App zum ersten Mal geöffnet haben, angegeben in Tagen.
Letztes Engagement mit der App	Mehr als Weniger als Zwischen	Die Ausrichtung auf Nutzer basiert darauf, wann sie das letzte Mal mit Ihrer App interagiert haben. Dieser Zeitraum wird in Tagen angegeben.

A/B Testing Messwerte

Beim Erstellen des Tests wählen Sie einen primären Messwert, also einen Zielmesswert, anhand dessen die beste Variante ermittelt wird. Sie sollten auch andere Messwerte erfassen, um die Leistung der einzelnen Testvarianten besser nachvollziehen und wichtige Trends verfolgen zu können, die sich je nach Variante unterscheiden können, z. B. Nutzerbindung, App-Stabilität und Umsatz aus In-App-Käufen. Sie können bis zu fünf Messwerte erfassen, die nicht zu Zielvorhaben gehören.

Angenommen, Sie haben Ihrer App neue In-App-Käufe hinzugefügt und möchten die Effektivität von zwei verschiedenen Aufforderungen vergleichen. In diesem Fall können Sie Umsatz aus Käufen als Zielmesswert festlegen, da die Gewinnervariante die Benachrichtigung darstellen soll, die zu den höchsten In-App-Umsätzen geführt hat. Da Sie auch nachverfolgen möchten, welche Variante zu mehr Conversions und mehr aktiven Nutzern geführt hat, können Sie unter Weitere Messwerte Folgendes hinzufügen:

• Geschätzter Gesamtumsatz, um zu sehen, wie sich die kombinierten In-App-Kauf- und Werbeumsätze zwischen den beiden Varianten unterscheiden
• Bindung (1 Tag), Bindung (2–3 Tage) und Bindung (4–7 Tage), um die tägliche/wöchentliche Nutzerbindung zu erfassen

Hinweis: Analytics-Ereignisse werden nur in Messwertlisten aufgeführt, wenn sie von Ihrer App ausgelöst wurden. Sie können den Messwertnamen jedoch in das Feld Zielvorhabenmesswert auswählen eingeben und auf Ereignis erstellen klicken, um ihn hinzuzufügen. Er wird dann verwendet, wenn diese Ereignisse in Zukunft von Ihrer App ausgelöst werden.

In den folgenden Tabellen finden Sie Details dazu, wie Messwerte für Zielvorhaben und andere Messwerte berechnet werden.

Messwerte zu Zielvorhaben

Messwert	Beschreibung
Nutzer ohne Abstürze	Der Prozentsatz der Nutzer, die während des Tests keine Fehler in deiner App festgestellt haben, die vom Firebase Crashlytics SDK erkannt wurden.
Geschätzter Werbeumsatz	Geschätzte Werbeeinnahmen.
Geschätzter Gesamtumsatz	Kombinierter Wert für Käufe und geschätzte Werbeeinnahmen.
Umsatz aus Käufen	Gesamtwert für alle purchase- und in_app_purchase-Ereignisse.
Nutzerbindung (1 Tag)	Die Anzahl der Nutzer, die täglich zu Ihrer App zurückkehren.
Bindung (2–3 Tage)	Die Anzahl der Nutzer, die innerhalb von zwei bis drei Tagen zu Ihrer App zurückkehren.
Bindung (4–7 Tage)	Die Anzahl der Nutzer, die innerhalb von 4 bis 7 Tagen wieder Ihre App verwenden.
Bindung (8–14 Tage)	Die Anzahl der Nutzer, die innerhalb von 8 bis 14 Tagen zu Ihrer App zurückkehren.
Nutzerbindung (15+ Tage)	Die Anzahl der Nutzer, die mindestens 15 Tage nach der letzten Nutzung zu Ihrer App zurückkehren.
first_open	Ein Analytics-Ereignis, das ausgelöst wird, wenn ein Nutzer eine App zum ersten Mal öffnet, nachdem er sie installiert oder neu installiert hat. Wird als Teil eines Conversion-Trichters verwendet.

Weitere Messwerte

Messwert	Beschreibung
notification_dismiss	Ein Analytics-Ereignis, das ausgelöst wird, wenn eine vom Benachrichtigungs-Editor gesendete Benachrichtigung geschlossen wird (nur Android).
notification_receive	Ein Analytics-Ereignis, das ausgelöst wird, wenn eine vom Benachrichtigungs-Composer gesendete Benachrichtigung empfangen wird, während die App im Hintergrund ausgeführt wird (nur Android).
os_update	Ein Analytics-Ereignis, das erfasst, wenn das Betriebssystem des Geräts auf eine neue Version aktualisiert wird. Weitere Informationen finden Sie unter Automatisch erfasste Ereignisse.
screen_view	Ein Analytics-Ereignis, das die in Ihrer App angesehenen Bildschirme erfasst. Weitere Informationen finden Sie unter Bildschirmaufrufe verfolgen.
session_start	Ein Analytics-Ereignis, das Nutzersitzungen in Ihrer Anwendung zählt. Weitere Informationen finden Sie unter Automatisch erfasste Ereignisse.