Questa guida fornisce informazioni sui concetti chiave relativi ai rollout di Remote Config, in modo da poter:
- Scopri come funziona l'appartenenza ai gruppi di implementazione.
- Scopri quando utilizzare un'implementazione e quando un test A/B.
- Scopri come interpretare i risultati dell'implementazione.
Informazioni sull'appartenenza ai gruppi di implementazione
Quando crei una nuova implementazione e assegni una percentuale, Firebase inserisce una parte del tuo pubblico di dimensioni uguali in un gruppo di controllo per ottenere risultati accurati quando confronti il rendimento della funzionalità attivata, generando i seguenti gruppi.
- Attivato: i dispositivi utente assegnati a questo gruppo ricevono il valore configurato nell'implementazione.
- Controllo: i dispositivi utente assegnati a questo gruppo ricevono il valore che avrebbero ricevuto da Remote Config, non il valore di implementazione.
- Non assegnato: i dispositivi utente di questo gruppo ricevono il valore che altrimenti avrebbero ricevuto da Remote Config, ma non vengono utilizzati nei risultati di confronto dell'implementazione.
In altre parole, se implementi la funzionalità per il 2% degli utenti, questi vengono aggiunti al gruppo Attivato e un altro 2% degli utenti viene aggiunto al gruppo di controllo, che viene utilizzato per il confronto. Il 96% dei tuoi utenti rimane in Non assegnato.
Questo approccio garantisce un confronto equo tra le prestazioni degli utenti e dei dispositivi che ricevono il valore di implementazione e quelli che non lo ricevono, consentendoti di determinare in modo efficace l'esito positivo o negativo dell'implementazione nella pagina Risultati dell'implementazione.
L'assegnazione del gruppo di implementazione è coerente in tutte le fasi di un'implementazione. In altre parole, se riduci la percentuale allo 0% all'interno dello stesso lancio, tutti gli utenti torneranno a ricevere il valore parametro definito nel modello Remote Config. Se in un secondo momento decidi di aumentare la percentuale di implementazione, gli utenti che facevano parte dei gruppi Attivato o Controllo precedenti torneranno al gruppo a cui erano stati assegnati originariamente e riceveranno valori coerenti con questi gruppi.
Dopo aver verificato che la release è andata a buon fine e aver deciso di lanciarla completamente al 100% degli utenti target, Firebase non utilizza più il gruppo di controllo e tutti gli utenti e i dispositivi target ricevono il valore di implementazione.
Quando utilizzare un'implementazione rispetto a un test A/B?
I rollout di Remote Config e A/B Testing sono appropriati per casi d'uso leggermente diversi e possono essere utilizzati in modo complementare.
I lanci sono release graduali e vengono spesso utilizzati per rilasciare una nuova funzionalità a un gruppo selezionato di utenti. Potresti voler scegliere come target gli utenti di un paese specifico o che utilizzano una versione specifica della tua app. Utilizza le implementazioni per mitigare i rischi, testare nuove funzionalità in un ambiente reale, con controlli rigorosi, in modo da poter vedere il rendimento della funzionalità. Puoi anche monitorare le prestazioni dei tuoi servizi di backend con il carico aggiuntivo della nuova funzionalità e l'utilizzo approssimativo per assicurarti che la modifica sia scalabile prima di rilasciarla a un pubblico più ampio.
Le implementazioni sono strumenti eccellenti per le situazioni in cui stai implementando nuove funzionalità che modificano in modo significativo la funzionalità, modifiche che potrebbero portare a risultati imprevedibili o modifiche che potrebbero influire sull'infrastruttura di backend, sui servizi o sulle API esterne.
A/B Testing ti consente di presentare più versioni di una funzionalità o di un elemento dell'app, ad esempio aggiornando l'aspetto della UI, modificando il testo pubblicitario o aggiornando il livello di difficoltà del gioco. Puoi quindi mostrare diverse varianti ai tuoi utenti per scoprire quale opzione genera risultati migliori in base alla metrica scelta (ad esempio coinvolgimento degli utenti, clic sugli annunci ed entrate).
Utilizza A/B Testing per prendere decisioni basate sui dati, ottimizzare e comprendere le preferenze degli utenti. È perfetto per le situazioni in cui hai più opzioni comparabili e obiettivi molto specifici. Ad esempio, A/B Testing è appropriato per le modifiche in cui vuoi ottimizzare l'app per migliorare una metrica specifica, ad esempio testare quale posizionamento dell'annuncio banner genera più clic.
È anche una buona idea combinare i rollout di Remote Config e A/B Testing in una strategia generale: innanzitutto, crea un test A/B con un insieme limitato di utenti per determinare la variante che produce i risultati ottimali per le tue metriche chiave. Poi, dopo che A/B Testing ha determinato un leader, crea un'implementazione con la variante vincente. Monitora la stabilità e le metriche chiave man mano che aumenti gradualmente il numero di utenti esposti e, quando hai la certezza delle prestazioni, implementa la funzionalità al 100%.
Comprendi i risultati dell'implementazione
Dopo aver pubblicato un'implementazione, dovresti iniziare a vedere i risultati quasi immediatamente.
Puoi visualizzare i risultati in diversi modi nella console Firebase:
Nella pagina DevOps e coinvolgimento > Remote Config > Parametri, espandi il parametro configurato per l'implementazione e, sotto l'implementazione, fai clic su Visualizza risultati.
Nella pagina DevOps e coinvolgimento > Remote Config > Implementazioni, fai clic sul nome dell'implementazione.
Il selettore di app nella parte superiore della pagina DevOps e coinvolgimento > Remote Config > Risultati ti consente di selezionare le visualizzazioni per app specifiche. I risultati sono suddivisi in più sezioni:
- La sezione Riepilogo, che mostra la Percentuale di implementazione configurata e offre la possibilità di eseguire il rollback o modificare l'implementazione. Quando viene espansa, mostra una Panoramica dei dettagli di configurazione dell'implementazione e la Cronologia delle modifiche.
La sezione Utenti, che mostra il numero di installazioni uniche dell'app che hanno recuperato un modello di implementazione nei seguenti gruppi:
- Attivato: numero di istanze dell'app che corrispondono alla condizione di implementazione target e che hanno recuperato il valore di implementazione.
- Controllo: numero di istanze dell'app che corrispondono alla condizione di implementazione target e che hanno recuperato il valore invariato.
- Target: numero totale stimato di istanze che corrispondono alla condizione impostata nell'implementazione, che dovrebbero ricevere l'implementazione o un valore invariato.
Scopri di più in Informazioni sull'appartenenza ai gruppi di implementazione.
Le sezioni Crashlytics e Analytics, che mostrano i dati di confronto per i gruppi Attivato e Di controllo. Puoi filtrare i dati raccolti per Ultime 24 ore, Dall'ultima pubblicazione o Ultimi 7 giorni. Ultime 24 ore è la visualizzazione predefinita.
Crashlytics risultati per i rollout
Puoi visualizzare il numero totale di arresti anomali, errori non irreversibili e ANR che si sono verificati durante l'implementazione. Ogni categoria di risultati mostra un grafico a barre che confronta i totali non elaborati degli utenti Attivati e di Controllo che hanno soddisfatto la condizione dell'implementazione.
- Arresti anomali: mostra il numero e la percentuale di arresti anomali, nonché il numero di utenti unici che hanno riscontrato arresti anomali per i gruppi Attivato e Di controllo.
- Errori non irreversibili: mostra il numero e la percentuale di errori non irreversibili, nonché il numero di utenti unici che hanno riscontrato errori non irreversibili.
- ANR (solo app per Android): mostra il numero e la percentuale di eventi "L'applicazione non risponde", nonché il numero di utenti unici che hanno riscontrato uno o più eventi ANR.
Per informazioni più dettagliate sugli arresti anomali, puoi fare clic su Scopri di più in Crashlytics. Si apre la pagina Crashlytics con un filtro attivo per l'implementazione di cui stavi esaminando i risultati. I risultati dell'implementazione nella pagina Crashlytics misurano tutti gli utenti che sono mai stati esposti alla rispettiva variante, Attivata o Controllo. Puoi scegliere di visualizzare gli arresti anomali del gruppo di controllo, del gruppo abilitato o di entrambi.
Google Analytics risultati per i rollout
La sezione dei risultati dell'implementazione di Google Analytics confronta le metriche di Analytics per tutti gli utenti che sono stati esposti ai gruppi Attivato o Controllo in dettaglio e nelle visualizzazioni dei grafici. Vengono fornite tre metriche:
- Entrate totali: mostra l'importo totale delle entrate, incluse le entrate pubblicitarie e le entrate generate dagli acquisti, in USD. Puoi filtrare i risultati per visualizzare in modo specifico le entrate pubblicitarie o le entrate generate dagli acquisti.
- Conversioni totali: mostra il conteggio non elaborato della somma di tutti gli eventi di conversione. Puoi filtrare i risultati in base alla conversione che vuoi evidenziare.
- Durata totale del coinvolgimento: mostra la durata totale del coinvolgimento degli utenti con una delle varianti di implementazione. La durata totale del coinvolgimento viene visualizzata nel formato Ore:Minuti:Secondi. Ad esempio, 01:31:28. Il grafico mostra i dati relativi al periodo di tempo selezionato sopra la sezione Crashlytics.