Remote Config-Roll-outs

In diesem Leitfaden finden Sie Informationen zu wichtigen Konzepten im Zusammenhang mit Remote Config-Rollouts, damit Sie Folgendes tun können:

Mitgliedschaft in Roll-out-Gruppen

Wenn Sie einen neuen Roll-out erstellen und einen Prozentsatz zuweisen, platziert Firebase einen gleich großen Teil Ihrer Zielgruppe in einer Kontrollgruppe, um genaue Ergebnisse beim Vergleich der Leistung der aktivierten Funktion zu erhalten. Dies führt zu den folgenden Gruppen.

  • Aktiviert: Nutzergeräte, die dieser Gruppe zugewiesen sind, erhalten den Wert, den Sie für die Einführung konfigurieren.
  • Kontrollgruppe: Nutzergeräte, die dieser Gruppe zugewiesen sind, erhalten den Wert, den sie sonst von Remote Config erhalten hätten, nicht den Rollout-Wert.
  • Nicht zugewiesen:Nutzergeräte in dieser Gruppe erhalten den Wert, den sie sonst von Remote Config erhalten hätten. Sie werden jedoch nicht in den Vergleichsergebnissen für die Einführung verwendet.

Wenn Sie die Funktion also für 2% Ihrer Nutzer einführen, werden diese der Gruppe „Aktiviert“ hinzugefügt und weitere 2% Ihrer Nutzer der Vergleichsgruppe „Kontrollgruppe“. 96% Ihrer Nutzer sind weiterhin nicht zugewiesen.

So können Sie die Leistung von Nutzern und Geräten, die Ihren Rollout-Wert erhalten, mit der Leistung von Nutzern und Geräten vergleichen, die ihn nicht erhalten. Außerdem können Sie auf der Seite Rollout-Ergebnisse effektiv feststellen, ob der Rollout erfolgreich war.

Die Zuweisung von Roll-out-Gruppen ist in allen Phasen eines Roll-outs konsistent. Wenn Sie den Prozentsatz innerhalb desselben Roll-outs auf 0 % reduzieren, erhalten alle Nutzer wieder den in der Remote Config-Vorlage definierten Parameterwert. Wenn Sie später beschließen, den Prozentsatz für die Einführung zu erhöhen, werden Nutzer, die Teil der vorherigen aktivierten oder Kontrollgruppen waren, in die Gruppe zurückkehren, der sie ursprünglich zugewiesen waren, und Werte erhalten, die mit diesen Gruppen übereinstimmen.

Wenn Sie bestätigt haben, dass die Veröffentlichung erfolgreich ist, und sich entscheiden, sie für 100% der Zielnutzer vollständig zu starten, verwendet Firebase die Kontrollgruppe nicht mehr und alle Zielnutzer und ‑geräte erhalten den Rollout-Wert.

Wann sollte ich einen Roll-out und wann einen A/B-Test verwenden?

Remote Config-Rollouts und A/B Testing eignen sich für leicht unterschiedliche Anwendungsfälle und können ergänzend verwendet werden.

Graduelle Einführungen sind schrittweise Veröffentlichungen, die häufig verwendet werden, um eine neue Funktion für eine ausgewählte Gruppe von Nutzern einzuführen. Sie möchten vielleicht Nutzer in einem bestimmten Land oder mit einer bestimmten Version Ihrer App ansprechen. Mit der Einführung können Sie das Risiko minimieren und neue Funktionen in einer realen Umgebung mit strengen Kontrollen testen, um zu sehen, wie die Funktion funktioniert. Sie können auch die Leistung Ihrer Backend-Dienste bei der zusätzlichen Last der neuen Funktion beobachten und die Nutzung schätzen, um sicherzustellen, dass Ihre Änderung skalierbar ist, bevor Sie sie für ein größeres Publikum freigeben.

Rollouts sind hervorragende Tools für Situationen, in denen Sie neue Funktionen implementieren, die die Funktionalität erheblich verändern, Änderungen, die zu unvorhersehbaren Ergebnissen führen können, oder Änderungen, die sich auf Ihre Backend-Infrastruktur, Dienste oder externen APIs auswirken können.

Mit A/B Testing können Sie mehrere Versionen einer Funktion oder eines App-Elements präsentieren, z. B. das Erscheinungsbild der Benutzeroberfläche aktualisieren, Werbetext ändern oder den Schwierigkeitsgrad eines Spiellevels anpassen. Anschließend können Sie Ihren Nutzern verschiedene Varianten präsentieren, um herauszufinden, welche Option basierend auf dem von Ihnen ausgewählten Messwert (z. B. Nutzer-Engagement, Anzeigenklicks und Umsatz) bessere Ergebnisse erzielt.

A/B Testing kann Ihnen helfen, datengestützte Entscheidungen zu treffen, Ihre Kampagnen zu optimieren und die Vorlieben Ihrer Nutzer besser zu verstehen. Diese Methode eignet sich besonders, wenn Sie mehrere vergleichbare Optionen und sehr spezifische Ziele haben. A/B Testing ist beispielsweise für Änderungen geeignet, mit denen Sie Ihre App optimieren möchten, um einen bestimmten Messwert zu verbessern. Sie können damit z. B. testen, mit welcher Banneranzeigen-Platzierung mehr Klicks erzielt werden.

Es empfiehlt sich auch, Remote Config-Roll-outs und A/B Testing in einer übergeordneten Strategie zu kombinieren: Erstellen Sie zuerst einen A/B-Test mit einer eingeschränkten Gruppe von Nutzern, um die Variante zu ermitteln, die die optimalen Ergebnisse für Ihre wichtigsten Messwerte liefert. Nachdem A/B Testing einen Leader ermittelt hat, erstellen Sie einen Roll-out mit der Gewinner-Variante. Behalten Sie die Stabilität und die wichtigsten Messwerte im Blick, während Sie die Anzahl der Nutzer, die die Funktion sehen, schrittweise erhöhen. Wenn Sie mit der Leistung zufrieden sind, können Sie die Funktion für alle Nutzer einführen.

Roll-out-Ergebnisse verstehen

Nachdem Sie einen Roll-out veröffentlicht haben, sollten Sie fast sofort Ergebnisse sehen.

Sie können sich die Ergebnisse auf verschiedene Arten ansehen:

  • Erweitern Sie auf der Seite Parameter den Parameter, den Sie für den Roll-out konfiguriert haben, und klicken Sie unter dem Roll-out auf Ergebnisse ansehen.
  • Klicken Sie auf der Seite Rollouts auf den Namen des Rollouts.

Über die App-Auswahl oben auf der Seite „Ergebnisse“ können Sie Ansichten für bestimmte Apps auswählen. Die Ergebnisse sind in mehrere Abschnitte unterteilt:

  • Im Abschnitt Zusammenfassung wird der konfigurierte Rollout-Prozentsatz angezeigt. Außerdem können Sie den Rollout hier zurücksetzen oder bearbeiten. Wenn der Bereich maximiert ist, sehen Sie eine Übersicht mit den Konfigurationsdetails des Roll-outs und den Änderungsverlauf.

  • Im Bereich Nutzer wird die Anzahl der einzelnen App-Installationen angezeigt, bei denen eine Rollout-Vorlage in den folgenden Gruppen abgerufen wurde:

    • Aktiviert:Anzahl der App-Instanzen, die der Bedingung für die Zielbereitstellung entsprechen und den Bereitstellungswert abgerufen haben.
    • Kontrollgruppe:Anzahl der App-Instanzen, die der Bedingung für die Zielbereitstellung entsprechen und den unveränderten Wert abgerufen haben.
    • Ziel: Geschätzte Gesamtzahl der Instanzen, die der Bedingung entsprechen, die Sie in Ihrem Rollout festgelegt haben. Diese Instanzen sollten entweder den Rollout oder einen unveränderten Wert erhalten.

    Weitere Informationen

  • Die Abschnitte Crashlytics und Analytics enthalten Vergleichsdaten für die Gruppen „Aktiviert“ und „Kontrollgruppe“. Sie können die erhobenen Daten nach Letzte 24 Stunden, Seit der letzten Veröffentlichung oder Letzte 7 Tage filtern. Die Standardansicht ist „Letzte 24 Stunden“.

Crashlytics Ergebnisse für Roll-outs

Sie sehen die Gesamtzahl der Abstürze, Nicht schwerwiegenden Fehler und ANRs, die während des Roll-outs aufgetreten sind. Jede Ergebniskategorie enthält ein Balkendiagramm, in dem die Rohsummen der Nutzer in der Aktivierten- und der Kontrollgruppe verglichen werden, die die Bedingung des Roll-outs erfüllt haben.

  • Abstürze:Hier sehen Sie die Anzahl und den Prozentsatz der Abstürze sowie die Anzahl der einzelnen Nutzer, bei denen Abstürze aufgetreten sind, für die aktivierte Gruppe und die Kontrollgruppe.
  • Nicht schwerwiegende Fehler:Hier werden die Anzahl und der Prozentsatz der nicht schwerwiegenden Fehler sowie die Anzahl der einzelnen Nutzer angezeigt, bei denen nicht schwerwiegende Fehler aufgetreten sind.
  • ANR-Fehler (nur Android-Apps): Zeigt die Anzahl und den Prozentsatz der Ereignisse vom Typ „App reagiert nicht“ sowie die Anzahl der einzelnen Nutzer, bei denen ein oder mehrere ANR-Fehler aufgetreten sind.

Wenn Sie detailliertere Informationen zu Abstürzen aufrufen möchten, klicken Sie auf Mehr in Crashlytics ansehen. Dadurch wird die Seite Crashlytics mit einem aktiven Filter für den Roll-out geöffnet, dessen Ergebnisse Sie sich angesehen haben. Auf der Seite Crashlytics werden alle Nutzer berücksichtigt, die jemals der jeweiligen Variante ausgesetzt waren, Aktiviert oder Kontrollgruppe. Sie können sich Abstürze der Kontrollgruppe, der aktivierten Gruppe oder beider Gruppen ansehen.

Google Analytics Ergebnisse für Roll-outs

Im Bereich mit den Google Analytics-Rollout-Ergebnissen werden Analytics-Messwerte für alle Nutzer, die jemals der Gruppe „Aktiviert“ oder der Kontrollgruppe zugewiesen waren, detailliert und in Diagrammansichten verglichen. Es gibt drei Messwerte:

  • Gesamtumsatz:Der Gesamtumsatz, einschließlich Werbeeinnahmen und Umsatz aus Käufen, in USD. Sie können Ihre Ergebnisse filtern, um nur Ergebnisse für Werbeeinnahmen oder Kaufumsatz zu sehen.
  • Conversions insgesamt:Hier sehen Sie die Rohdatenanzahl der Summe aller Conversion-Ereignisse. Sie können die Ergebnisse nach der Conversion filtern, die Sie hervorheben möchten.
  • Gesamtinteraktionsdauer:Gibt die Gesamtinteraktionsdauer an, die Ihre Nutzer mit einer der Rollout-Varianten verbracht haben. Die gesamte Interaktionszeit wird im Format „Stunden:Minuten:Sekunden“ angezeigt. Beispiel: 01:31:28. Im Diagramm werden Daten für den Zeitraum angezeigt, den Sie über dem Abschnitt Crashlytics ausgewählt haben.

Nächste Schritte