In diesem Leitfaden finden Sie Informationen zu wichtigen Konzepten im Zusammenhang mit Remote Config-Roll-outs. So können Sie:
- So funktioniert die Einführung von Gruppenmitgliedschaften.
- Sie wissen, wann ein Roll-out und wann ein A/B-Test sinnvoll ist.
- Weitere Informationen zum Interpretieren von Roll-out-Ergebnissen
Informationen zur Roll-out-Gruppenmitgliedschaft
Wenn Sie ein neues Roll-out erstellen und einen Prozentsatz zuweisen, platziert Firebase eine gleich großen Teil Ihrer Zielgruppe in eine Kontrollgruppe umwandeln, um genaue Ergebnisse zu erhalten wenn Sie die Leistung der aktivierten Funktion vergleichen. Gruppen folgen.
- Aktiviert: Nutzergeräten, die dieser Gruppe zugewiesen sind, wird der Wert zugewiesen, den Sie bei der Einführung konfigurieren.
- Kontrolle: Nutzergeräte, die dieser Gruppe zugewiesen sind, empfangen einen Wert die sie sonst über Remote Config und nicht über das Roll-out erhalten hätten. Wert.
- Nicht zugewiesen: Nutzergeräte in dieser Gruppe erhalten den Wert, den sie sonst von Remote Config erhalten hätten, werden aber nicht in den Ergebnissen des Roll-out-Vergleichs verwendet.
Wenn Sie also ein Update für 2 % Ihrer Nutzer einführen, werden diese der Gruppe „Aktiviert“ hinzugefügt und weitere 2 % Ihrer Nutzer der Kontrollgruppe, die zum Vergleich verwendet wird. 96% der Nutzer verbleiben im Status „Nicht zugewiesen“.
So lässt sich die Leistung von Nutzern und Geräten, die Ihren Roll-out-Wert erhalten, mit denen vergleichen, die ihn nicht erhalten. Auf der Seite Roll-out-Ergebnisse können Sie dann effektiv feststellen, ob der Roll-out erfolgreich war oder nicht.
Die Zuweisung zur Roll-out-Gruppe ist in allen Phasen eines Roll-outs gleich. Das heißt: Wenn Sie den Prozentsatz innerhalb desselben Roll-outs auf 0 % senken, Auf den in Remote Config definierten Parameterwert zurücksetzen Vorlage. Wenn Sie sich später dazu entschließen, den Prozentsatz für die Einführung zu erhöhen, können Nutzer, die den der vorherigen aktivierten Gruppen oder Kontrollgruppen zu der Gruppe zurück, wurden ursprünglich zugewiesen und erhalten Werte, die mit diesen Gruppen übereinstimmen.
Wenn du dich vergewissert hast, dass dein Release erfolgreich ist, und dich für die vollständige Einführung entschieden hast für 100% der Nutzer bestimmt, verwendet Firebase nicht mehr die Kontrollgruppe und alle Zielnutzer und -geräte erhalten den Roll-out-Wert.
Wann sollte ich ein Roll-out und wann einen A/B-Test verwenden?
Remote Config-Roll-outs und A/B Testing eignen sich für eine etwas andere Verwendung Gehäuse und können ergänzend verwendet werden.
Einführungen sind stufenweise Releases. Sie werden häufig verwendet, um eine neue Funktion zu veröffentlichen. ausgewählten Nutzenden zur Verfügung. Vielleicht möchten Sie Ihre Anzeigen auf Nutzer in einem bestimmten oder eine bestimmte Version deiner App verwenden. Verwenden Sie Roll-outs, um Risiken zu mindern, neue Funktionen in einer realen Umgebung mit strengen Kontrollen zu testen, können Sie die Leistung der Funktion sehen. Außerdem können Sie die Leistung Ihrer Backend-Dienste bei der zusätzlichen Belastung durch die neue Funktion und die ungefähre Nutzung beobachten, um sicherzustellen, dass Ihre Änderung skalierbar ist, bevor Sie sie für ein breiteres Publikum freigeben.
Roll-outs sind hervorragende Tools für Situationen, in denen Sie neue Funktionen, die die Funktionalität erheblich verändern, bzw. solche, die zu unvorhersehbare Ergebnisse oder Änderungen, die sich auf Ihre Back-End-Infrastruktur auswirken, oder externen APIs.
Mit A/B Testing können Sie mehrere Versionen einer Funktion oder eines App-Elements zu präsentieren, z. B. Aktualisierung der Benutzeroberfläche, Ändern von Werbetexten, Aktualisieren des Spiellevels Schwierigkeitsgrad. Sie können dann verschiedene Varianten für Ihre Nutzer präsentieren, um herauszufinden, welche Option basierend auf dem ausgewählten Messwert (z. B. Nutzerinteraktionen, Anzeigenklicks und Umsatz) bessere Ergebnisse erzielt.
Nutzen Sie A/B Testing für datengestützte Entscheidungen, Optimierungen die Bedürfnisse Ihrer Nutzenden Einstellungen. Es ist ideal für Situationen, haben Sie mehrere vergleichbare Optionen und sehr spezifische Ziele. Beispiel: A/B Testing eignet sich für Änderungen, an denen du deine App optimieren möchtest um einen bestimmten Messwert zu verbessern, z. B. um zu testen, welches Banneranzeigen-Placement zu mehr Klicks führt.
Es ist auch eine gute Idee, Remote Config-Roll-outs und A/B Testing in einer übergeordneten Strategie zu kombinieren: Erstellen Sie zuerst einen A/B-Test mit einer begrenzten Anzahl von Nutzern, um die Variante zu ermitteln, die die optimalen Ergebnisse für Ihre wichtigsten Messwerte liefert. Nachdem A/B Testing einen Sieger ermittelt hat, können Sie ein Roll-out mit der Gewinnervariante erstellen. Beobachten Sie die Stabilität und die wichtigsten Messwerte, erhöhen Sie die Anzahl der Nutzer, die Ihre Kampagne zu 100 % einzuführen.
Informationen zu den Roll-out-Ergebnissen
Nach der Veröffentlichung eines Roll-outs sollten Sie nahezu sofort Ergebnisse sehen.
Sie können Ergebnisse auf verschiedene Arten anzeigen:
- Maximieren Sie auf der Seite Parameter den Parameter, den Sie für das Roll-out konfiguriert haben, und klicken Sie unter dem Roll-out auf Ergebnisse ansehen.
- Klicken Sie auf der Seite Roll-outs auf den Roll-out-Namen.
Über die App-Auswahl oben auf der Ergebnisseite können Sie Ansichten für bestimmte Apps auswählen. Die Ergebnisse werden in mehrere Abschnitte unterteilt:
- Im Abschnitt Summary (Zusammenfassung) wird der konfigurierte Einführungsprozentsatz angezeigt. und bietet die Möglichkeit, Roll-outs rückgängig zu machen oder zu bearbeiten. Wenn es maximiert ist, eine Übersicht über die Konfigurationsdetails Ihres Roll-outs und die Option Ändern .
Im Bereich Nutzer sehen Sie die Anzahl der einzelnen App-Installationen, für die in den folgenden Gruppen eine Roll-out-Vorlage abgerufen wurde:
- Aktiviert:Anzahl der App-Instanzen, die dem geplanten Roll-out entsprechen Bedingung erfüllt und den Roll-out-Wert abgerufen haben.
- Kontrollgruppe: Anzahl der App-Instanzen, die der Bedingung für die beabsichtigte Einführung entsprechen und den unveränderten Wert abgerufen haben.
- Ziel: Geschätzte Gesamtzahl der Instanzen, die der in Ihrem Roll-out festgelegten Bedingung entsprechen und die entweder das Roll-out oder einen unveränderten Wert erhalten sollen.
Weitere Informationen unter Informationen zur Roll-out-Gruppenmitgliedschaft.
Der Crashlytics und Analytics-Abschnitte mit Vergleichsdaten für aktivierte Gruppen und Kontrollgruppen. Sie können die erfassten Daten nach den Letzten 24 Stunden, Seit der letzten Veröffentlichung oder den Letzten 7 Tagen filtern. „Letzte 24 Stunden“ ist die Standardansicht.
Crashlytics Ergebnis für Roll-outs
Dort sehen Sie die Gesamtzahl der Abstürze, nicht schwerwiegenden Fehler und ANRs, die während des Roll-outs aufgetreten sind. Jede Ergebniskategorie enthält ein Balkendiagramm, die Gesamtzahlen der Enabled- und Control-Nutzer, die die Bedingung für das Roll-out festzulegen.
- Abstürze:Zeigt die Anzahl und den Prozentsatz der Abstürze sowie die Anzahl der einzelne Nutzer, bei denen Abstürze für die aktivierten Gruppen und die Kontrollgruppe aufgetreten sind.
- Nicht schwerwiegend: Die Anzahl und den Prozentsatz der nicht schwerwiegenden Fehler sowie die Anzahl der einzelnen Nutzer, bei denen nicht schwerwiegende Fehler aufgetreten sind.
- ANRs (nur Android-Apps): Zeigt die Anzahl und den Prozentsatz der "App reagiert nicht" und die Anzahl der einzelnen Nutzer bei denen ein oder mehrere ANR-Ereignisse aufgetreten sind.
Ausführlichere Informationen zu Abstürzen erhalten Sie, wenn Sie auf Mehr anzeigen in: Crashlytics Daraufhin wird die Seite Crashlytics mit einem aktiven Filter für des Roll-outs, dessen Ergebnisse Sie geprüft haben. Die Roll-out-Ergebnisse im Auf der Seite Crashlytics werden alle Nutzer erfasst, die schon einmal mit dem entweder Aktiviert oder Kontrollgruppe. Sie können das Steuerelement Gruppenabstürze, aktivierte Gruppenabstürze oder beides.
Google Analytics Ergebnis für Roll-outs
Im Abschnitt mit den Roll-out-Ergebnissen von Google Analytics wird Analytics verglichen für alle Nutzer, die in der Vergangenheit die Einstellungen der im Detail und in der Grafikansicht anzuzeigen. Es werden drei Messwerte zur Verfügung gestellt:
- Gesamtumsatz:Hier sehen Sie den Gesamtumsatz einschließlich des Werbeumsatzes. und Umsätze aus Käufen in US-Dollar. Sie können Ihre um Ergebnisse speziell für den Werbeumsatz oder den Umsatz aus Käufen anzuzeigen.
- Conversions insgesamt:Zeigt die ungefähre Anzahl aller Conversions an. Ereignisse. Sie können die Ergebnisse nach der gewünschten Conversion filtern. hervorheben.
- Interaktionsdauer insgesamt: Die Gesamtdauer der Interaktionen Ihrer Nutzer mit einer der Einführungsvarianten. Die gesamte Interaktionsdauer wird angezeigt. im Format Stunden:Minuten:Sekunden. Beispiel: 01:31:28. Das Diagramm zeigt Daten aus dem Zeitraum, den Sie über dem Abschnitt Crashlytics ausgewählt haben.