In-App-Messaging-Tests mit A/B Testing erstellen

Hinweis: Diese Funktion wird für Android- und iOS-Anwendungen unterstützt.

Wenn Sie sich an Ihre Nutzer wenden oder eine neue Marketingkampagne starten, möchten Sie natürlich alles richtig machen. Mit A/B-Tests können Sie die optimale Formulierung und Präsentation finden, indem Sie Nachrichtenvarianten für ausgewählte Teile Ihrer Nutzerbasis testen. Unabhängig davon, ob Sie die Kundenbindung verbessern oder die Conversion-Rate eines Angebots steigern möchten, können Sie mit A/B-Tests statistische Analysen durchführen, um zu ermitteln, ob eine Nachrichtenvariante die ursprüngliche Variante für Ihr ausgewähltes Ziel übertrifft.

So führen Sie A/B-Tests für Varianten von Funktionen mit einer ursprünglichen Variante durch:

1. Erstellen Sie einen Test.
2. Validieren Sie den Test auf einem Testgerät.
3. Verwalten Sie den Test.

Wichtig: Sie benötigen die Mindestversion des SDK für A/B Testing: Firebase SDK für Android v17.1.1+ und Firebase SDK für Apple platforms v4.5.0.

Test erstellen

Mit einem Test, bei dem Firebase In-App Messaging verwendet wird, können Sie mehrere Varianten von einer einzelnen In-App-Nachricht auswerten.

1. Melden Sie sich in der Firebase Konsole an und prüfen Sie, ob Google Analytics in Ihrem Projekt aktiviert ist, damit der Test auf Analytics Daten zugreifen kann.

   Wenn Sie Google Analytics beim Erstellen des Projekts nicht aktiviert haben, können Sie es auf dem Tab „Integrationen“ aktivieren. Sie erreichen diesen Tab über > Projekteinstellungen in der Firebase Console.

2. Klicken Sie im Navigationsmenü der Firebase console im Bereich DevOps & Engagement auf A/B Testing.

3. Klicken Sie auf Test erstellen und wählen Sie dann In-App-Messaging aus, wenn Sie nach dem Dienst gefragt werden, mit dem Sie testen möchten.

4. Alternativ können Sie im Navigationsmenü der Firebase Console Engagement maximieren und dann auf In-App Messaging klicken. Klicken Sie dann auf Neuer Test.

5. Geben Sie einen Namen und optional eine Beschreibung für den Test ein und klicken Sie auf Weiter.

6. Füllen Sie die Felder unter Targeting aus und wählen Sie zuerst die App aus, in der der Test verwendet werden soll. Sie können auch eine Teilmenge Ihrer Nutzer für den Test auswählen. Dazu haben Sie folgende Optionen:

   • Version:Eine oder mehrere Versionen Ihrer App
   • Nutzerzielgruppe: Analytics Zielgruppen, die verwendet werden, um Nutzer anzusprechen die in den Test einbezogen werden könnten
   • Nutzereigenschaft: Eine oder mehrere Analytics Nutzereigenschaften, mit denen Nutzer ausgewählt werden, die in den Test einbezogen werden könnten
   • Land/Region:Ein oder mehrere Länder oder Regionen, mit denen Nutzer ausgewählt werden, die in den Test einbezogen werden könnten
   • Gerätesprache:Eine oder mehrere Sprachen und Gebietsschemas, mit denen Nutzer ausgewählt werden, die in den Test einbezogen werden könnten
   • Erstes Öffnen:Ausrichtung auf Nutzer basierend darauf, wann sie Ihre App zum ersten Mal geöffnet haben
   • Letztes Engagement mit der App:Ausrichtung auf Nutzer basierend darauf, wann sie das letzte Mal mit Ihrer App interagiert haben
   Hinweis: Bei Tests, die auf Analytics Nutzerzielgruppen ausgerichtet sind, kann es zwischen 24 und 48 Stunden dauern, bis Daten erfasst werden. Weitere Informationen zu dieser und anderen Targeting Optionen finden Sie unter Ausrichtung auf Nutzer.

7. Legen Sie den Prozentsatz der Zielnutzer fest. Wählen Sie den Prozentsatz der Nutzer Ihrer App aus, die die unter Zielnutzer festgelegten Kriterien erfüllen und die gleichmäßig auf die ursprüngliche Variante und eine oder mehrere Varianten in Ihrem Test verteilt werden sollen. Sie können einen beliebigen Prozentsatz zwischen 0,01% und 100 % auswählen. Die Prozentsätze werden für jeden Test zufällig neu zugewiesen, auch für duplizierte Tests.

8. Konfigurieren Sie im Bereich Varianten eine ursprüngliche In-App-Nachricht, die an die ursprüngliche Gruppe gesendet werden soll. Verwenden Sie dazu die Nachrichtendesignoberfläche, die Sie für eine normale In-App-Messaging-Kampagne verwenden.

9. Wenn Sie dem Test eine Variante hinzufügen möchten, klicken Sie auf Variante hinzufügen. Standardmäßig haben Tests eine ursprüngliche Variante und eine Variante.

10. Optional: Geben Sie einen aussagekräftigeren Namen für jede Variante ein.

11. Optional: Klicken Sie oben im Bereich Varianten auf die Schaltfläche Varianten vergleichen, um eine oder mehrere Nachrichtenvarianten nebeneinander mit der ursprünglichen Nachricht zu vergleichen.

12. Definieren Sie einen Zielmesswert für den Test, der bei der Auswertung der Testvarianten verwendet werden soll. Wählen Sie außerdem alle zusätzlichen Messwerte aus der Liste aus, die Sie verwenden möchten. Zu diesen Messwerten gehören integrierte Zielvorhaben (Engagement, Käufe, Umsatz, Kundenbindung usw.), Analytics Conversion-Ereignisse und andere Analytics Ereignisse.

13. Konfigurieren Sie die Planung für den Test:

    • Legen Sie ein Startdatum und ein Enddatum für den Test fest.
    • Legen Sie fest, wie In-App-Nachrichten für alle Varianten ausgelöst werden.

14. Klicken Sie auf Prüfen , um den Test zu speichern.

Pro Projekt sind bis zu 300 Tests zulässig. Davon können bis zu 24 Tests gleichzeitig ausgeführt werden. Die übrigen Tests sind Entwürfe oder wurden abgeschlossen.

Test auf einem Testgerät validieren

Für jede Firebase-Installation können Sie das zugehörige Installations-Auth-Token abrufen. Mit diesem Token können Sie bestimmte Testvarianten auf einem Testgerät testen, auf dem Ihre App installiert ist. So validieren Sie den Test auf einem Testgerät:

1. Rufen Sie das Installations-Auth-Token so ab:

   Swift

   do {
     let result = try await Installations.installations()
       .authTokenForcingRefresh(true)
     print("Installation auth token: \(result.authToken)")
   } catch {
     print("Error fetching token: \(error)")
   }

   Objective-C

   [[FIRInstallations installations] authTokenForcingRefresh:true
                                                  completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
     if (error != nil) {
       NSLog(@"Error fetching Installation token %@", error);
       return;
     }
     NSLog(@"Installation auth token: %@", [result authToken]);
   }];

   Java

   FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
           .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
       @Override
       public void onComplete(@NonNull Task<InstallationTokenResult> task) {
           if (task.isSuccessful() && task.getResult() != null) {
               Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
           } else {
               Log.e("Installations", "Unable to get Installation auth token");
           }
       }
   });
   MainActivity.java

   Kotlin

   val forceRefresh = true
   FirebaseInstallations.getInstance().getToken(forceRefresh)
       .addOnCompleteListener { task ->
           if (task.isSuccessful) {
               Log.d("Installations", "Installation auth token: " + task.result?.token)
           } else {
               Log.e("Installations", "Unable to get Installation auth token")
           }
       }
   MainActivity.kt

   Web

         import { getInstallations, getToken } from "firebase/installations";
   
         const installations = getInstallations(app);
         const installationAuthToken = getToken(installations);
     

2. Klicken Sie in der Navigationsleiste der Firebase Console auf A/B-Tests.
3. Klicken Sie auf Entwurf (und/oder Wird ausgeführt für Remote Config-Tests), bewegen Sie den Mauszeiger auf den Test, klicken Sie auf das Kontextmenü () und dann auf Testgeräte verwalten.
4. Geben Sie das Installations-Auth-Token für ein Testgerät ein und wählen Sie die Testvariante aus, die an dieses Testgerät gesendet werden soll.
5. Führen Sie die App aus und prüfen Sie, ob die ausgewählte Variante auf dem Testgerät empfangen wird.

Weitere Informationen zu Firebase Installationen finden Sie unter Firebase-Installationen verwalten.

Test verwalten

Unabhängig davon, ob Sie einen Test mit Remote Config erstellen, dem Benachrichtigungs-Composer oder Firebase In-App Messaging, können Sie ihn validieren und starten, während der Ausführung beobachten und die Anzahl der Nutzer erhöhen, die in den Test einbezogen werden.

Wenn der Test abgeschlossen ist, können Sie sich die Einstellungen der Variante mit der besten Leistung ansehen und diese Einstellungen dann für alle Nutzer übernehmen. Alternativ können Sie einen weiteren Test durchführen.

Test starten

1. Klicken Sie im Navigationsmenü der Firebase console im Bereich DevOps & Engagement auf A/B Testing.
2. Klicken Sie auf Entwurf und dann auf den Titel des Tests.
3. Wenn Sie prüfen möchten, ob Ihre App Nutzer hat, die in den Test einbezogen werden könnten, maximieren Sie die Details des Entwurfs und suchen Sie im Bereich Targeting und Verteilung nach einer Zahl größer als 0% (z. B. 1% der Nutzer, die die Kriterien erfüllen).
4. Wenn Sie den Test ändern möchten, klicken Sie auf Bearbeiten.
5. Klicken Sie auf Test starten, um den Test zu starten. Pro Projekt können bis zu 24 Tests gleichzeitig ausgeführt werden.

Test beobachten

Nachdem ein Test eine Weile ausgeführt wurde, können Sie den Fortschritt prüfen und sich die Ergebnisse für die Nutzer ansehen, die bisher am Test teilgenommen haben.

1. Klicken Sie im Navigationsmenü der Firebase console im Bereich DevOps & Engagement auf A/B Testing.

2. Klicken Sie auf Wird ausgeführt und dann auf den Titel Ihres Tests oder suchen Sie danach. Auf dieser Seite können Sie verschiedene beobachtete und modellierte Statistiken zum laufenden Test sehen, darunter:

   • Abweichung von ursprünglicher Variante in%: Ein Maß für die Verbesserung eines Messwerts für eine bestimmte Variante im Vergleich zur ursprünglichen Variante. Wird berechnet, indem der Wertebereich für die Variante mit dem Wertebereich für die ursprüngliche Variante verglichen wird.
   • Wahrscheinlichkeit, die ursprüngliche Variante zu übertreffen: Die geschätzte Wahrscheinlichkeit, dass eine bestimmte Variante die ursprüngliche Variante für den ausgewählten Messwert übertrifft.
   • observed_metric pro Nutzer: Basierend auf den Testergebnissen, dies ist der prognostizierte Bereich, in dem der Messwert im Laufe der Zeit liegen wird.
   • Gesamt observed_metric: Der beobachtete kumulative Wert für die ursprüngliche Variante oder die Variante. Mit diesem Wert wird gemessen, wie gut die einzelnen Testvarianten abschneiden. Er wird verwendet, um Verbesserung, Wertebereich, Wahrscheinlichkeit, die ursprüngliche Variante zu übertreffen und Wahrscheinlichkeit, die beste Variante zu sein zu berechnen. Je nach gemessenem Messwert kann diese Spalte auch „Dauer pro Nutzer“, „Umsatz pro Nutzer“, „Bindungsrate“ oder „Conversion-Rate“ heißen.

3. Nachdem der Test eine Weile ausgeführt wurde (mindestens 7 Tage für FCM und In-App Messaging oder 14 Tage für Remote Config), zeigt diese Seite , welche Variante die beste ist. Einige Messungen werden von einem Balkendiagramm begleitet, in dem die Daten visuell dargestellt werden.

Tipp: Sie können nach Spalte sortieren und Ihre A/B-Tests nach Name und Teststatus filtern.

Test für alle Nutzer bereitstellen

Nachdem ein Test lange genug ausgeführt wurde, sodass Sie die beste Variante für den entsprechenden Zielmesswert ermittelt haben, können Sie den Test für alle Nutzer bereitstellen. So können Sie eine Variante auswählen, die ab sofort allen Nutzern präsentiert wird. Das ist auch dann möglich, wenn keine Variante die beste ist.

1. Klicken Sie im Navigationsmenü der Firebase console im Bereich DevOps & Engagement auf A/B Testing.
2. Klicken Sie auf Abgeschlossen oder Wird ausgeführt, klicken Sie auf einen Test, den Sie für alle Nutzer bereitstellen möchten, klicken Sie auf das Kontextmenü ()Variante bereitstellen.

3. Führen Sie einen der folgenden Schritte aus, um den Test für alle Nutzer bereitzustellen:

   • Bei einem Test, bei dem der Benachrichtigungs-Composer verwendet wird, senden Sie die Nachricht bereitstellen Dialogfeld die Nachricht an die übrigen Ziel Nutzer, die nicht am Test teilgenommen haben.
   • Wählen Sie bei einem Remote Config -Test eine Variante aus, um zu bestimmen, welche Remote Config Parameterwerte aktualisiert werden sollen. Die beim Erstellen des Tests definierten Targeting-Kriterien werden als neue Bedingung in Ihre Vorlage eingefügt, sodass die Variante nur für die Nutzer bereitgestellt wird, auf die der Test ausgerichtet ist. Klicken Sie auf In Remote Config überprüfen, um die Änderungen zu sehen. Klicken Sie zum Abschluss auf Änderungen veröffentlichen.
   • Bei einem In-App Messaging -Test legen Sie im Dialogfeld fest, welche Variante als eigenständige In-App Messaging Kampagne bereitgestellt werden soll. Nach der Auswahl werden Sie zum Bildschirm zum Erstellen von FIAM-Nachrichten weitergeleitet, wo Sie vor der Veröffentlichung gegebenenfalls Änderungen vornehmen können.

Test erweitern

Wenn Sie feststellen, dass ein Test nicht genügend Nutzer einbringt, damit bei A/B Testing eine beste Variante ermittelt werden kann, können Sie die Verteilung des Tests erhöhen, um einen größeren Prozentsatz der Nutzerbasis der App zu erreichen.

1. Klicken Sie im Navigationsmenü der Firebase console im Bereich DevOps & Engagement auf A/B Testing.
2. Wählen Sie den laufenden Test aus, den Sie bearbeiten möchten.
3. Klicken Sie in der Testübersicht auf das Kontextmenü () und dann auf Laufenden Test bearbeiten.
4. Im Dialogfeld Targeting können Sie den Prozentsatz der Nutzer erhöhen, die am laufenden Test teilnehmen. Wählen Sie eine Zahl aus, die größer als der aktuelle Prozentsatz ist, und klicken Sie auf Veröffentlichen. Der Test wird für den von Ihnen angegebenen Prozentsatz der Nutzer bereitgestellt.

Test duplizieren oder beenden

1. Klicken Sie im Navigationsmenü der Firebase console im Bereich DevOps & Engagement auf A/B Testing.
2. Klicken Sie auf Abgeschlossen oder Wird ausgeführt, bewegen Sie den Mauszeiger auf den Test, klicken Sie auf das Kontextmenü () und dann auf Test duplizieren oder Test beenden.

Ausrichtung auf Nutzer

Sie können die Nutzer, die in den Test einbezogen werden sollen, anhand der folgenden Targeting-Kriterien auswählen.

Targeting-Kriterium	Operator(en)	Wert(e)	Hinweis
Version	enthält, enthält nicht, stimmt genau überein, enthält regulären Ausdruck	Geben Sie einen Wert für eine oder mehrere App-Versionen ein, die in den Test einbezogen werden sollen.	Wenn Sie einen der Operatoren enthält, enthält nicht oder stimmt genau überein verwenden, können Sie eine durch Kommas getrennte Liste von Werten angeben. Wenn Sie den Operator enthält regulären Ausdruck verwenden, können Sie reguläre Ausdrücke im RE2 Format erstellen. Ihr regulärer Ausdruck kann mit dem gesamten oder einem Teil des Zielversionsstrings übereinstimmen. Sie können auch die Anker ^ und $ verwenden, um den Anfang, das Ende oder die Gesamtheit eines Zielstrings zu finden.
Nutzerzielgruppe(n)	enthält alle von, enthält mindestens eines von, enthält nicht alle von, enthält nicht mindestens eines von	Wählen Sie eine oder mehrere Analytics Zielgruppen aus, um Nutzer anzusprechen, die in den Test einbezogen werden könnten.	Bei einigen Tests, die auf Google Analytics Zielgruppen ausgerichtet sind, kann es einige Tage dauern, bis Daten erfasst werden, da sie der Analytics Datenverarbeitungslatenz unterliegen. Diese Verzögerung tritt am häufigsten bei neuen Nutzern auf, die in der Regel 24 bis 48 Stunden nach der Erstellung in entsprechende Zielgruppen aufgenommen werden, oder bei kürzlich erstellten Zielgruppen.
Nutzereigenschaft	Für Text: enthält, enthält nicht, stimmt genau überein, enthält regulären Ausdruck Für Zahlen: <, ≤, =, ≥, >	Mit einer Analytics Nutzereigenschaft werden Nutzer ausgewählt, die in einen Test einbezogen werden könnten. Es gibt eine Reihe von Optionen zum Auswählen von Nutzereigenschaftswerten. Auf dem Client können Sie nur Stringwerte für Nutzer eigenschaften festlegen. Bei Bedingungen, die numerische Operatoren verwenden, konvertiert der Remote Config Dienst den Wert der entsprechenden Nutzereigenschaft in eine Ganzzahl/Gleitkommazahl.	Wenn Sie den Operator enthält regulären Ausdruck verwenden, können Sie reguläre Ausdrücke im RE2 Format erstellen. Ihr regulärer Ausdruck kann mit dem gesamten oder einem Teil des Zielversionsstrings übereinstimmen. Sie können auch die Anker ^ und $ verwenden, um den Anfang, das Ende oder die Gesamtheit eines Zielstrings zu finden.
Land/Region	–	Ein oder mehrere Länder oder Regionen, mit denen Nutzer ausgewählt werden, die in den Test einbezogen werden könnten.
Sprachen	–	Eine oder mehrere Sprachen und Gebietsschemas, mit denen Nutzer ausgewählt werden, die in den Test einbezogen werden könnten in den Test einbezogen werden könnten.
Erstes Öffnen	Mehr als Weniger als Zwischen	Ausrichtung auf Nutzer basierend darauf, wann sie Ihre App zum ersten Mal geöffnet haben (in Tagen angegeben)
Letztes Engagement mit der App	Mehr als Weniger als Zwischen	Ausrichtung auf Nutzer basierend darauf, wann sie das letzte Mal mit Ihrer App interagiert haben, in Tagen angegeben

A/B Testing Messwerte

Wenn Sie einen Test erstellen, wählen Sie einen primären Messwert oder Zielmesswert aus, mit dem die beste Variante ermittelt wird. Sie sollten auch andere Messwerte erfassen, um die Leistung der einzelnen Testvarianten besser zu verstehen und wichtige Trends zu verfolgen, die sich für jede Variante unterscheiden können, z. B. Nutzerbindung, App-Stabilität und Umsatz aus In-App-Käufen. Sie können bis zu fünf Messwerte ohne Zielvorhaben in Ihrem Test erfassen.

Angenommen, Sie haben Ihrer App neue In-App-Käufe hinzugefügt und möchten die Effektivität von zwei verschiedenen „Nudge“-Nachrichten vergleichen. In diesem Fall können Sie Umsatz aus Käufen als Zielmesswert festlegen, da die beste Variante die Benachrichtigung darstellen soll, die den höchsten Umsatz aus In-App-Käufen erzielt hat. Da Sie auch erfassen möchten, welche Variante zu mehr zukünftigen Conversions geführt und mehr Nutzer gebunden hat, können Sie unter Weitere zu erfassende Messwerte Folgendes hinzufügen:

• Geschätzter Gesamtumsatz , um zu sehen, wie sich der kombinierte Umsatz aus In-App-Käufen und Anzeigen zwischen den beiden Varianten unterscheidet
• Nutzerbindung (1 Tag), Nutzerbindung (2–3 Tage), Nutzerbindung (4–7 Tage), um die tägliche/wöchentliche Nutzerbindung zu erfassen

Hinweis: Analytics-Ereignisse werden nur in Messwertlisten angezeigt, wenn sie von Ihrer App ausgelöst wurden. Sie können den Messwertnamen jedoch in das Feld Zielmesswert auswählen eingeben und auf Ereignis erstellen klicken, um ihn hinzuzufügen. Er wird verwendet, wenn Ihre App diese Ereignisse in Zukunft auslöst.

Die folgenden Tabellen enthalten Details zur Berechnung von Zielmesswerten und anderen Messwerten.

Zielmesswerte

Messwert	Beschreibung
Nutzer ohne Abstürze	Der Prozentsatz der Nutzer, bei denen während des Tests keine Fehler in Ihrer App aufgetreten sind, die vom Firebase Crashlytics SDK erkannt wurden. Hinweis: Firebase Crashlytics wird für Webanwendungen nicht unterstützt.
Geschätzter Werbeumsatz	Geschätzte Einnahmen aus Anzeigen.
Geschätzter Gesamtumsatz	Kombinierter Wert für Käufe und geschätzte Werbeeinnahmen.
Umsatz aus Käufen	Kombinierter Wert für alle purchase und in_app_purchase Ereignisse.
Kundenbindung (1 Tag)	Die Anzahl der Nutzer, die täglich zu Ihrer App zurückkehren.
Kundenbindung (2–3 Tage)	Die Anzahl der Nutzer, die innerhalb von 2–3 Tagen zu Ihrer App zurückkehren.
Kundenbindung (4–7 Tage)	Die Anzahl der Nutzer, die innerhalb von 4–7 Tagen zu Ihrer App zurückkehren.
Kundenbindung (8–14 Tage)	Die Anzahl der Nutzer, die innerhalb von 8–14 Tagen zu Ihrer App zurückkehren.
Kundenbindung (15+ Tage)	Die Anzahl der Nutzer, die 15 oder mehr Tage nach der letzten Nutzung zu Ihrer App zurückkehren.
first_open	Ein Analytics Ereignis, das ausgelöst wird, wenn ein Nutzer eine App zum ersten Mal öffnet, nachdem er sie installiert oder neu installiert hat. Wird als Teil eines Conversion-Trichters verwendet.

Weitere Messwerte

Messwert	Beschreibung
notification_dismiss	Ein Analytics Ereignis, das ausgelöst wird, wenn eine vom Benachrichtigungs-Composer gesendete Benachrichtigung verworfen wird (nur Android).
notification_receive	Ein Analytics Ereignis, das ausgelöst wird, wenn eine von dem Benachrichtigungs-Composer gesendete Benachrichtigung empfangen wird, während die App im Hintergrund ausgeführt wird (nur Android).
os_update	Ein Analytics Ereignis, das erfasst, wenn das Betriebssystem des Geräts auf eine neue Version aktualisiert wird.Weitere Informationen finden Sie unter Automatisch erfasste Ereignisse. Dieser Messwert wird für Webanwendungen nicht unterstützt.
screen_view	Ein Analytics Ereignis, das erfasst, welche Bildschirme in Ihrer App angesehen werden. Weitere Informationen finden Sie unter Bildschirmaufrufe erfassen.
session_start	Ein Analytics Ereignis, das Nutzersitzungen in Ihrer App zählt. Weitere Informationen finden Sie unter Automatisch erfasste Ereignisse.