Remote Config-Roll-outs

In diesem Leitfaden finden Sie Informationen zu wichtigen Konzepten im Zusammenhang mit Remote Config-Roll-outs, damit Sie Folgendes tun können:

Mitgliedschaft in Roll-out-Gruppen

Wenn Sie ein neues Roll-out erstellen und einen Prozentsatz zuweisen, wird von Firebase ein gleich großer Teil Ihrer Zielgruppe in eine Kontrollgruppe aufgenommen, um genaue Ergebnisse beim Vergleich der Leistung Ihrer aktivierten Funktion zu erhalten. Dadurch entstehen die folgenden Gruppen.

  • Aktiviert: Nutzergeräte, die dieser Gruppe zugewiesen sind, erhalten den Wert, den Sie im Roll-out konfigurieren.
  • Kontrollgruppe: Nutzergeräte, die dieser Gruppe zugewiesen sind, erhalten den Wert, den sie sonst von Remote Config erhalten hätten, nicht den Roll-out-Wert.
  • Nicht zugewiesen: Nutzergeräte in dieser Gruppe erhalten den Wert, den sie sonst von Remote Config erhalten hätten, werden aber nicht in den Ergebnissen des Roll-out-Vergleichs verwendet.

Wenn Sie die Funktion also für 2 % Ihrer Nutzer einführen, werden diese der Gruppe „Aktiviert“ hinzugefügt und weitere 2 % Ihrer Nutzer werden der Gruppe „Kontrolle“ hinzugefügt, die zum Vergleich verwendet wird. 96 % Ihrer Nutzer bleiben in der Kategorie „Nicht zugewiesen“.

Dieser Ansatz ermöglicht einen fairen Vergleich zwischen der Leistung von Nutzern und Geräten, die den Roll-out-Wert erhalten, und solchen, die ihn nicht erhalten. So können Sie auf der Seite Roll-out-Ergebnisse effektiv feststellen, ob der Roll-out erfolgreich war oder nicht.

Die Zuweisung zu einer Roll-out-Gruppe ist in allen Phasen eines Roll-outs einheitlich. Wenn Sie also innerhalb desselben Roll-outs den Prozentsatz auf 0 % reduzieren, erhalten alle Nutzer wieder den Parameterwert, der in der Remote Config-Vorlage definiert ist. Wenn Sie den Roll-out-Prozentsatz später erhöhen, werden Nutzer, die Teil der vorherigen aktivierten Gruppe oder Kontrollgruppe waren, wieder der Gruppe zugewiesen, der sie ursprünglich zugewiesen waren, und erhalten Werte, die mit diesen Gruppen übereinstimmen.

Wenn Sie bestätigt haben, dass Ihr Release erfolgreich ist, und sich für die vollständige Einführung bei 100 % der Zielnutzer entscheiden, verwendet Firebase die Kontrollgruppe nicht mehr und alle Zielnutzer und ‑geräte erhalten den Roll-out-Wert.

Wann sollte ein Roll-out und wann ein A/B-Test verwendet werden?

Remote Config-Roll-outs und A/B Testing eignen sich für leicht unterschiedliche Anwendungsfälle und können sich gegenseitig ergänzen.

Roll-outs sind schrittweise Veröffentlichungen und werden häufig verwendet, um eine neue Funktion für eine ausgewählte Gruppe von Nutzern freizugeben. Sie können beispielsweise Nutzer in einem bestimmten Land oder Nutzer einer bestimmten Version Ihrer App ansprechen. Mit Roll-outs können Sie das Risiko minimieren und neue Funktionen in einer realen Umgebung mit strengen Kontrollen testen, um zu sehen, wie die Funktion funktioniert. Sie können auch die Leistung Ihrer Backend-Dienste unter der zusätzlichen Last der neuen Funktion überwachen und die Nutzung schätzen, um sicherzustellen, dass Ihre Änderung skalierbar ist, bevor Sie sie für ein breiteres Publikum freigeben.

Roll-outs sind hervorragende Tools für Situationen, in denen Sie neue Funktionen implementieren, die die Funktionalität erheblich verändern, Änderungen, die zu unvorhersehbaren Ergebnissen führen können, oder Änderungen, die sich auf Ihre Backend-Infrastruktur, Dienste oder externe APIs auswirken können.

Mit A/B Testing können Sie mehrere Versionen einer Funktion oder eines App-Elements präsentieren, z. B. die Benutzeroberfläche aktualisieren, Werbetexte ändern oder den Schwierigkeitsgrad eines Spiels aktualisieren. Anschließend können Sie Ihren Nutzern verschiedene Varianten präsentieren, um herauszufinden, welche Option basierend auf dem von Ihnen ausgewählten Messwert (z. B. Nutzerinteraktion, Anzeigenklicks und Umsatz) bessere Ergebnisse erzielt.

Verwenden Sie A/B Testing für datengestützte Entscheidungen, Optimierung und das Verständnis der Präferenzen Ihrer Nutzer. Sie eignet sich perfekt für Situationen, in denen Sie mehrere vergleichbare Optionen und sehr spezifische Ziele haben. A/B Testing eignet sich beispielsweise für Änderungen, mit denen Sie Ihre App optimieren möchten, um einen bestimmten Messwert zu verbessern, z. B. um zu testen, welches Anzeigen-Placement für Banneranzeigen zu mehr Klicks führt.

Es ist auch eine gute Idee, Remote Config-Roll-outs und A/B Testing in einer übergreifenden Strategie zu kombinieren: Erstellen Sie zuerst einen A/B-Test mit einer begrenzten Anzahl von Nutzern, um die Variante zu ermitteln, die die optimalen Ergebnisse für Ihre wichtigsten Messwerte liefert. Nachdem A/B Testing einen Gewinner ermittelt hat, erstellen Sie einen Roll-out mit der Gewinner-Variante. Beobachten Sie die Stabilität und die wichtigsten Messwerte, während Sie die Anzahl der Nutzer, die die neue Version sehen, schrittweise erhöhen. Wenn Sie mit der Leistung zufrieden sind, können Sie die Version für alle Nutzer einführen.

Roll-out-Ergebnisse verstehen

Nachdem Sie einen Roll-out veröffentlicht haben, sollten Sie fast sofort Ergebnisse sehen.

Sie können sich die Ergebnisse in der Firebase-Konsole auf verschiedene Arten ansehen:

  • Maximieren Sie auf der Seite DevOps & Engagement > Remote Config > Parameter den Parameter, den Sie für den Roll-out konfiguriert haben, und klicken Sie unter dem Roll-out auf Ergebnisse ansehen.

  • Klicken Sie auf der Seite DevOps & Engagement > Remote Config > Rollouts auf den Namen des Rollouts.

Über die App-Auswahl oben auf der Seite DevOps & Engagement > Remote Config > Ergebnisse können Sie Ansichten für bestimmte Apps auswählen. Die Ergebnisse sind in mehrere Abschnitte unterteilt:

  • Im Abschnitt Zusammenfassung wird der konfigurierte Rollout-Prozentsatz angezeigt. Außerdem können Sie den Rollout rückgängig machen oder bearbeiten. Wenn Sie sie maximieren, sehen Sie eine Übersicht über die Konfigurationsdetails des Roll-outs und den Änderungsverlauf.

  • Im Bereich Nutzer wird die Anzahl der einzelnen App-Installationen angezeigt, die eine Roll-out-Vorlage in den folgenden Gruppen abgerufen haben:

    • Aktiviert: Anzahl der App-Instanzen, die der Zielbedingung für das Roll-out entsprechen und den Roll-out-Wert abgerufen haben.
    • Kontrollgruppe: Anzahl der App-Instanzen, die der Ziel-Roll-out-Bedingung entsprechen und den unveränderten Wert abgerufen haben.
    • Ziel: Geschätzte Gesamtzahl der Instanzen, die der Bedingung entsprechen, die Sie im Roll-out festgelegt haben. Diese Instanzen sollten entweder den Roll-out oder einen unveränderten Wert erhalten.

    Weitere Informationen finden Sie unter Mitgliedschaft in Roll-out-Gruppen.

  • Die Abschnitte Crashlytics und Analytics, die Vergleichsdaten für die aktivierten Gruppen und die Kontrollgruppen enthalten. Sie können die erfassten Daten nach Letzte 24 Stunden, Seit der letzten Veröffentlichung oder Letzte 7 Tage filtern. „Letzte 24 Stunden“ ist die Standardansicht.

Crashlytics Ergebnisse für Roll-outs

Sie sehen die Gesamtzahl der Abstürze, nicht schwerwiegenden Fehler und ANRs, die während des Roll-outs aufgetreten sind. In jeder Ergebniskategorie wird ein Balkendiagramm angezeigt, in dem die Gesamtzahl der Nutzer in der aktivierten Gruppe und der Kontrollgruppe verglichen wird, die die Bedingung des Roll-outs erfüllt haben.

  • Abstürze: Zeigt die Anzahl und den Prozentsatz der Abstürze sowie die Anzahl der einzelnen Nutzer, bei denen Abstürze aufgetreten sind, für die aktivierte Gruppe und die Kontrollgruppe an.
  • Nicht schwerwiegende Fehler: Hier sehen Sie die Anzahl und den Prozentsatz der nicht schwerwiegenden Fehler sowie die Anzahl der einzelnen Nutzer, bei denen nicht schwerwiegende Fehler aufgetreten sind.
  • ANR-Fehler (nur Android-Apps): Zeigt die Anzahl und den Prozentsatz der „App antwortet nicht“-Ereignisse sowie die Anzahl der einzelnen Nutzer, bei denen ein oder mehrere ANR-Ereignisse aufgetreten sind.

Wenn Sie weitere Informationen zu Abstürzen erhalten möchten, klicken Sie auf Mehr in Crashlytics ansehen. Dadurch wird die Seite Crashlytics mit einem aktiven Filter für den Roll-out geöffnet, dessen Ergebnisse Sie sich angesehen haben. In den Roll-out-Ergebnissen auf der Seite Crashlytics werden alle Nutzer berücksichtigt, die jemals die entsprechende Variante (Aktiviert oder Kontrolle) gesehen haben. Sie können sich die Abstürze der Kontrollgruppe, der aktivierten Gruppe oder beider Gruppen ansehen.

Google Analytics Ergebnisse für Roll-outs

Im Abschnitt mit den Ergebnissen des Roll-outs von Google Analytics werden die Messwerte für Analytics für alle Nutzer, die jemals der aktivierten Gruppe oder der Kontrollgruppe ausgesetzt waren, in Detail- und Diagrammansichten verglichen. Es werden drei Messwerte bereitgestellt:

  • Gesamteinnahmen: Zeigt die Gesamteinnahmen in USD, einschließlich Werbeeinnahmen und Umsatz aus Käufen. Sie können die Ergebnisse so filtern, dass nur Ergebnisse für Werbeeinnahmen oder Kaufumsatz angezeigt werden.
  • Conversions insgesamt: Die Gesamtzahl aller Conversion-Ereignisse. Sie können die Ergebnisse nach der Conversion filtern, die Sie hervorheben möchten.
  • Gesamtinteraktionsdauer: Gibt die Gesamtinteraktionsdauer an, die Ihre Nutzer mit einer der Roll-out-Varianten verbracht haben. Die Gesamtinteraktionsdauer wird im Format Stunden:Minuten:Sekunden angezeigt. Beispiel: 01:31:28. Die Grafik zeigt Daten für den Zeitraum, den Sie über dem Abschnitt Crashlytics ausgewählt haben.

Nächste Schritte