Remote Config-Roll-outs

In diesem Leitfaden finden Sie Informationen zu wichtigen Konzepten im Zusammenhang mit Remote Config-Roll-outs. So können Sie:

Mitgliedschaft in einer Roll-out-Gruppe

Wenn Sie ein neues Roll-out erstellen und einen Prozentsatz zuweisen, ordnet Firebase einen gleich großen Teil Ihrer Zielgruppe einer Kontrollgruppe zu, um beim Vergleich der Leistung der aktivierten Funktion genaue Ergebnisse zu erhalten. Dies führt zu den folgenden Gruppen.

  • Aktiviert: Nutzergeräten, die dieser Gruppe zugewiesen sind, wird der Wert zugewiesen, den Sie bei der Einführung konfigurieren.
  • Kontrollgruppe: Nutzergeräte, die dieser Gruppe zugewiesen sind, erhalten den Wert, den sie andernfalls von Remote Config erhalten hätten, nicht den Roll-out-Wert.
  • Nicht zugewiesen:Nutzergeräte in dieser Gruppe erhalten den Wert, den sie andernfalls von Remote Config erhalten hätten, werden aber nicht in den Ergebnissen des Roll-out-Vergleichs verwendet.

Wenn Sie also ein Update für 2% Ihrer Nutzer einführen, werden diese der Gruppe „Aktiviert“ hinzugefügt und weitere 2% der Nutzer der Kontrollgruppe, die zum Vergleich verwendet wird. 96% Ihrer Nutzer bleiben in der Kategorie „Nicht zugewiesen“.

So lässt sich die Leistung von Nutzern und Geräten, die Ihren Roll-out-Wert erhalten, mit denen vergleichen, die ihn nicht erhalten. Auf der Seite Roll-out-Ergebnisse können Sie dann effektiv feststellen, ob der Roll-out erfolgreich war oder nicht.

Die Zuweisung zur Roll-out-Gruppe bleibt während aller Phasen des Roll-outs gleich. Wenn Sie also innerhalb desselben Roll-outs den Prozentsatz auf 0 % senken, erhalten alle Nutzer wieder den in der Remote Config-Vorlage definierten Parameterwert. Wenn Sie später den Prozentsatz des Roll-outs erhöhen, kehren Nutzer, die zuvor zu den Gruppen „Aktiviert“ oder „Kontrollgruppe“ gehörten, zu der Gruppe zurück, die ihnen ursprünglich zugewiesen war, und erhalten Werte, die zu diesen Gruppen passen.

Wenn Sie festgestellt haben, dass Ihre Version erfolgreich ist, und die vollständige Einführung für 100% der ausgewählten Nutzer vornehmen möchten, wird die Kontrollgruppe in Firebase nicht mehr verwendet und alle ausgewählten Nutzer und Geräte erhalten den Roll-out-Wert.

Wann sollte ich ein Roll-out und wann einen A/B-Test verwenden?

Remote Config-Roll-outs und A/B Testing eignen sich für etwas unterschiedliche Anwendungsfälle und können sich ergänzen.

Rollouts sind schrittweise Releases und werden häufig verwendet, um eine neue Funktion für eine ausgewählte Gruppe von Nutzern zu veröffentlichen. Sie können beispielsweise Nutzer in einem bestimmten Land oder Nutzer, die eine bestimmte Version Ihrer App verwenden, anvisieren. Mithilfe von Roll-outs können Sie Risiken minimieren und neue Funktionen in einer realen Umgebung mit strengen Kontrollen testen, um die Leistung der Funktion zu sehen. Außerdem können Sie die Leistung Ihrer Backend-Dienste bei der zusätzlichen Belastung durch die neue Funktion und die ungefähre Nutzung beobachten, um sicherzustellen, dass Ihre Änderung skalierbar ist, bevor Sie sie für ein breiteres Publikum freigeben.

Einführungen sind hervorragende Tools für Situationen, in denen Sie neue Funktionen implementieren, die die Funktionalität erheblich ändern, Änderungen, die zu unvorhersehbaren Ergebnissen führen können, oder Änderungen, die sich auf Ihre Back-End-Infrastruktur, Dienste oder externen APIs auswirken können.

Mit A/B Testing können Sie mehrere Versionen einer Funktion oder eines App-Elements präsentieren, z. B. das Erscheinungsbild der Benutzeroberfläche aktualisieren, Werbetext ändern oder die Schwierigkeit des Spiellevels aktualisieren. Sie können dann verschiedene Varianten für Ihre Nutzer präsentieren, um herauszufinden, welche Option basierend auf dem von Ihnen ausgewählten Messwert (z. B. Nutzerinteraktionen, Anzeigenklicks und Umsatz) bessere Ergebnisse erzielt.

Verwenden Sie A/B Testing für datengetriebene Entscheidungen, Optimierungen und die Analyse der Präferenzen Ihrer Nutzer. Dieser Test eignet sich hervorragend für Situationen, in denen Sie mehrere vergleichbare Optionen und sehr spezifische Ziele haben. A/B Testing ist beispielsweise für Änderungen geeignet, mit denen Sie Ihre App optimieren möchten, um einen bestimmten Messwert zu verbessern. Sie können damit beispielsweise testen, welches Banner-Anzeigen-Placement zu mehr Klicks führt.

Es ist auch eine gute Idee, Remote Config-Roll-outs und A/B Testing in einer übergeordneten Strategie zu kombinieren: Erstellen Sie zuerst einen A/B-Test mit einer begrenzten Anzahl von Nutzern, um die Variante zu ermitteln, die die optimalen Ergebnisse für Ihre wichtigsten Messwerte liefert. Nachdem A/B Testing einen Sieger ermittelt hat, können Sie ein Roll-out mit der Gewinnervariante erstellen. Beobachten Sie die Stabilität und die wichtigsten Messwerte, während Sie die Anzahl der Nutzer, die die Änderung sehen, schrittweise erhöhen. Wenn Sie mit der Leistung zufrieden sind, führen Sie die Änderung für 100 % der Nutzer ein.

Ergebnisse des Roll-outs analysieren

Nach der Veröffentlichung sollten Sie fast sofort erste Ergebnisse sehen.

Es gibt mehrere Möglichkeiten, sich die Ergebnisse anzusehen:

  • Maximieren Sie auf der Seite Parameter den Parameter, den Sie für das Roll-out konfiguriert haben, und klicken Sie unter dem Roll-out auf Ergebnisse ansehen.
  • Klicken Sie auf der Seite Roll-outs auf den Namen des Roll-outs.

Über die App-Auswahl oben auf der Ergebnisseite können Sie Ansichten für bestimmte Apps auswählen. Die Ergebnisse sind in mehrere Abschnitte unterteilt:

  • Im Bereich Zusammenfassung sehen Sie den konfigurierten Roll-out-Prozentsatz und können das Roll-out rückgängig machen oder bearbeiten. Wenn Sie es maximieren, sehen Sie eine Übersicht der Konfigurationsdetails und des Änderungsverlaufs des Roll-outs.

  • Im Bereich Nutzer sehen Sie die Anzahl der einzelnen App-Installationen, für die in den folgenden Gruppen eine Roll-out-Vorlage abgerufen wurde:

    • Aktiviert:Anzahl der App-Instanzen, die der Zielbereitstellungsbedingung entsprechen und für die der Bereitstellungswert abgerufen wurde.
    • Kontrollgruppe:Anzahl der App-Instanzen, die der Bedingung für die beabsichtigte Einführung entsprechen und den unveränderten Wert abgerufen haben.
    • Ziel: Geschätzte Gesamtzahl der Instanzen, die der in Ihrem Roll-out festgelegten Bedingung entsprechen und die entweder das Roll-out oder einen unveränderten Wert erhalten sollen.

    Weitere Informationen zur Gruppenmitgliedschaft für die Einführung

  • Die Abschnitte Crashlytics und Analytics mit Vergleichsdaten für die aktivierte Gruppe und die Kontrollgruppe. Sie können die erfassten Daten nach den Letzten 24 Stunden, Seit der letzten Veröffentlichung oder den Letzten 7 Tagen filtern. „Letzte 24 Stunden“ ist die Standardansicht.

Crashlytics Ergebnisse für Roll-outs

Sie sehen die Gesamtzahl der Abstürze, nicht kritischen Abstürze und ANRs, die während des Roll-outs aufgetreten sind. Für jede Ergebniskategorie wird ein Balkendiagramm angezeigt, in dem die Rohsummen der Nutzer in der Gruppe Aktiviert und Kontrollgruppe verglichen werden, die die Bedingung für die Einführung erfüllt haben.

  • Abstürze:Hier sehen Sie die Anzahl und den Prozentsatz der Abstürze sowie die Anzahl der einzelnen Nutzer, bei denen Abstürze in den Gruppen „Aktiviert“ und „Kontrollgruppe“ aufgetreten sind.
  • Nicht schwerwiegend:Die Anzahl und den Prozentsatz der nicht schwerwiegenden Fehler sowie die Anzahl der einzelnen Nutzer, bei denen nicht schwerwiegende Fehler aufgetreten sind.
  • ANR-Fehler (nur Android-Apps): Zeigt die Anzahl und den Prozentsatz der Ereignisse vom Typ „App antwortet nicht“ sowie die Anzahl der einzelnen Nutzer an, bei denen ein oder mehrere ANR-Fehler aufgetreten sind.

Weitere Informationen zu Abstürzen erhalten Sie, wenn Sie auf Mehr in Crashlytics klicken. Daraufhin wird die Seite Crashlytics mit einem aktiven Filter für die Einführung geöffnet, deren Ergebnisse Sie sich angesehen haben. In den Einführungsergebnissen auf der Seite Crashlytics werden alle Nutzer erfasst, die jemals der jeweiligen Variante (Aktiviert oder Kontrollgruppe) ausgesetzt waren. Sie können sich nur Absturzberichte für die Kontrollgruppe oder nur für die aktivierte Gruppe oder beide ansehen.

Google Analytics Ergebnisse für Roll-outs

Im Bereich Google Analytics Roll-out-Ergebnisse werden Analytics-Messwerte für alle Nutzer verglichen, die jemals der Gruppe „Aktiviert“ oder der Kontrollgruppe zugeordnet waren. Die Ergebnisse werden detailliert und in Diagrammansichten dargestellt. Es werden drei Messwerte bereitgestellt:

  • Gesamtumsatz:Der Gesamtumsatz, einschließlich Werbeeinnahmen und Umsatz aus Käufen, in USD. Sie können die Ergebnisse nach Werbeeinnahmen oder Umsatz aus Käufen filtern.
  • Conversions insgesamt:Die Rohzahl der Summe aller Conversion-Ereignisse. Sie können die Ergebnisse nach der Conversion filtern, die Sie hervorheben möchten.
  • Interaktionsdauer insgesamt:Die Gesamtdauer der Interaktionen Ihrer Nutzer mit einer der Einführungsvarianten. Die Gesamtdauer der Interaktionen wird im Format „Stunden:Minuten:Sekunden“ angezeigt. Beispiel: 01:31:28. Das Diagramm enthält Daten aus dem Zeitraum, den Sie über dem Bereich Crashlytics ausgewählt haben.

Nächste Schritte