Questa guida fornisce informazioni sui concetti chiave relativi ai rollout di Remote Config, in modo che tu possa:
- Scopri come funziona l'appartenenza ai gruppi di implementazione.
- Scopri quando utilizzare un lancio e quando utilizzare un test A/B.
- Scopri come interpretare i risultati dell'implementazione.
Informazioni sull'appartenenza ai gruppi di implementazione
Quando crei un nuovo rollout e assegni una percentuale, Firebase inserisce una porzione di pubblico di dimensioni uguali in un gruppo di controllo per ottenere risultati accurati quando confronti il rendimento della funzionalità attivata, ottenendo i seguenti gruppi.
- Attivato: i dispositivi utente assegnati a questo gruppo ricevono il valore che configuri nell'implementazione.
- Controllo: i dispositivi utente assegnati a questo gruppo ricevono il valore che altrimenti avrebbero ricevuto da Remote Config, non il valore di implementazione.
- Non assegnati:i dispositivi utente di questo gruppo ricevono il valore che altrimenti avrebbero ricevuto da Remote Config, ma non vengono utilizzati nei risultati del confronto del lancio.
ovvero, se il lancio viene eseguito per il 2% degli utenti, questi vengono aggiunti al gruppo Abilitato e un altro 2% degli utenti viene aggiunto al gruppo Controllo, che viene utilizzato per il confronto. Il 96% degli utenti rimane in Non assegnato.
Questo approccio garantisce un confronto equo tra il rendimento degli utenti e dei dispositivi che ricevono il valore di implementazione e quelli che non lo ricevono e ti consente di determinare in modo efficace la riuscita o il fallimento dell'implementazione nella pagina Risultati dell'implementazione.
L'assegnazione dei gruppi di implementazione è coerente in tutte le fasi di un'implementazione. ovvero, all'interno dello stesso rollout, se riduci la percentuale allo 0%, tutti gli utenti torneranno a ricevere il valore del parametro definito nel modello Remote Config. Se in un secondo momento decidi di aumentare la percentuale di implementazione, gli utenti che facevano parte dei gruppi abilitati o di controllo precedenti torneranno al gruppo a cui erano stati assegnati originariamente e riceveranno valori coerenti con quelli dei gruppi.
Quando hai verificato che il rilascio è andato a buon fine e decidi di eseguirlo completamente al 100% degli utenti target, Firebase non utilizza più il gruppo di controllo e tutti gli utenti e i dispositivi target ricevono il valore di implementazione.
Quando utilizzare un'implementazione rispetto a un test A/B?
I Remote Config rollout e i A/B Testing sono adatti a casi d'uso leggermente diversi e possono essere utilizzati in modo complementare.
I lanci sono rilasci graduali e vengono spesso utilizzati per rilasciare una nuova funzionalità a un gruppo selezionato di utenti. Potresti voler scegliere come target gli utenti di un paese specifico o che utilizzano una versione specifica della tua app. Utilizza le implementazioni per ridurre i rischi, testare nuove funzionalità in un ambiente reale con controlli rigorosi, in modo da poter vedere come funziona la funzionalità. Puoi anche monitorare le prestazioni dei tuoi servizi di backend con il carico aggiuntivo della nuova funzionalità e l'utilizzo approssimativo per assicurarti che la modifica sia scalabile prima di rilasciarla a un pubblico più ampio.
Le implementazioni sono strumenti eccellenti per le situazioni in cui implementi nuove funzionalità che modificano in modo significativo la funzionalità, modifiche che potrebbero comportare risultati imprevedibili o modifiche che potrebbero influire sull'infrastruttura di backend, sui servizi o sulle API esterne.
A/B Testing ti consente di presentare più versioni di una funzionalità o di un elemento dell'app, ad esempio, aggiornare l'aspetto della UI, modificare il testo pubblicitario, aggiornare la difficoltà del livello di gioco. Puoi quindi mostrare diverse varianti ai tuoi utenti per scoprire quale opzione genera risultati migliori in base alla metrica scelta (ad esempio coinvolgimento degli utenti, clic sugli annunci e entrate).
Utilizza A/B Testing per prendere decisioni basate sui dati, ottimizzare e comprendere le preferenze degli utenti. È perfetto per le situazioni in cui hai più opzioni comparabili e obiettivi molto specifici. Ad esempio, A/B Testing è appropriato per le modifiche in cui vuoi modificare la tua app per migliorare una metrica specifica, ad esempio testare quale posizionamento dell'annuncio banner genera più clic.
È anche una buona idea combinare i Remote Config rollout e i A/B Testing in un'unica strategia: innanzitutto, crea un test A/B con un insieme limitato di utenti per determinare la variante che produce i risultati ottimali per le tue metriche chiave. Poi, dopo che A/B Testing ha determinato un leader, crea un rollout con la variante vincente. Monitora la sua stabilità e le metriche chiave man mano che aumenti il numero di utenti esposti e, dopo aver acquisito sicurezza nelle sue prestazioni, implementalo al 100%.
Comprendere i risultati dell'implementazione
Dopo aver pubblicato un rollout, dovresti iniziare a vedere i risultati quasi immediatamente.
Puoi visualizzare i risultati in diversi modi:
- Nella pagina Parametri, espandi il parametro che hai configurato per l'implementazione e, sotto l'implementazione, fai clic su Visualizza risultati.
- Nella pagina Implementazioni, fai clic sul nome dell'implementazione.
Il selettore delle app nella parte superiore della pagina dei risultati ti consente di selezionare le visualizzazioni per app specifiche. I risultati sono suddivisi in più sezioni:
- La sezione Riepilogo, che mostra la Percentuale di implementazione configurata e offre la possibilità di eseguire il rollback o modificare l'implementazione. Quando viene espansa, mostra una panoramica dei dettagli di configurazione dell'implementazione e la cronologia delle modifiche.
La sezione Utenti, che mostra il numero di installazioni uniche dell'app che hanno recuperato un modello di implementazione nei seguenti gruppi:
- Attivato:numero di istanze dell'app che corrispondono alla condizione di implementazione target e hanno recuperato il valore di implementazione.
- Controllo:numero di istanze dell'app che corrispondono alla condizione di implementazione target e hanno recuperato il valore invariato.
- Target: numero totale stimato di istanze che corrispondono alla condizione impostata nell'implementazione, che devono ricevere l'implementazione o un valore invariato.
Scopri di più su Comprendere l'appartenenza ai gruppi di implementazione.
Le sezioni Crashlytics e Analytics, che mostrano i dati di confronto per i gruppi attivi e di controllo. Puoi filtrare i dati raccolti per Ultime 24 ore, Dall'ultima pubblicazione o Ultimi 7 giorni. Ultime 24 ore è la visualizzazione predefinita.
Crashlytics risultati per le implementazioni
Puoi visualizzare il numero totale di arresti anomali, errori non fatali e errori ANR che si sono verificati durante l'implementazione. Ogni categoria di risultati mostra un grafico a barre che confronta i totali non elaborati degli utenti Attivati e Controllo che soddisfano la condizione dell'implementazione.
- Arresti anomali:mostra il numero e la percentuale di arresti anomali e il numero di utenti unici che hanno riscontrato arresti anomali per i gruppi Abilitato e Controllo.
- Non irreversibili:mostra il numero e la percentuale di errori non irreversibili, il numero di utenti unici che hanno riscontrato errori non irreversibili.
- ANR (solo app per Android): mostra il numero e la percentuale di eventi "L'applicazione non risponde", nonché il numero di utenti unici che hanno riscontrato uno o più eventi ANR.
Per informazioni più dettagliate sugli arresti anomali, puoi fare clic su Visualizza altro in Crashlytics. Si apre la pagina Crashlytics con un filtro attivo per l'implementazione di cui stavi esaminando i risultati. I risultati dell'implementazione nella pagina Crashlytics misurano tutti gli utenti che sono stati esposti alla rispettiva variante, Attivata o Controllo. Puoi scegliere di visualizzare gli arresti anomali del gruppo di controllo, del gruppo abilitato o di entrambi.
Google Analytics risultati per le implementazioni
La sezione dei risultati dell'implementazione di Google Analytics confronta le metriche di Analytics per tutti gli utenti che sono stati esposti ai gruppi Attivato o Controllo in dettaglio e nelle visualizzazioni grafiche. Vengono fornite tre metriche:
- Entrate totali:mostra l'importo totale delle entrate, incluse le entrate pubblicitarie e le entrate generate dagli acquisti, in dollari statunitensi. Puoi filtrare i risultati per visualizzare quelli relativi alle entrate pubblicitarie o alle entrate da acquisti.
- Conversioni totali:mostra il conteggio non elaborato della somma di tutti gli eventi di conversione. Puoi filtrare i risultati in base alla conversione che vuoi mettere in evidenza.
- Durata totale del coinvolgimento:mostra la durata totale del coinvolgimento degli utenti con una delle varianti di implementazione. La durata totale del coinvolgimento viene visualizzata nel formato Ore:Minuti:Secondi. Ad esempio, 01:31:28. Il grafico mostra i dati del periodo di tempo selezionato sopra la sezione Crashlytics.