Questa guida fornisce informazioni sui concetti chiave relativi agli implementazioni di Remote Config, in modo da poter:
- Scopri come funziona l'appartenenza al gruppo di implementazione.
- Scopri quando utilizzare un'implementazione e quando utilizzare un test A/B.
- Scopri come interpretare i risultati dell'implementazione.
Informazioni sull'appartenenza al gruppo di implementazione
Quando crei un nuovo implementazione e assegni una percentuale, Firebase inserisce una parte uguale del tuo segmento di pubblico in un gruppo di controllo per ottenere risultati accurati quando confronti il rendimento della funzionalità attivata, ottenendo i seguenti gruppi.
- Attivato: i dispositivi utente assegnati a questo gruppo ricevono il valore configurato nell'implementazione.
- Controllo: i dispositivi utente assegnati a questo gruppo ricevono il valore che altrimenti avrebbero ricevuto da Remote Config, non il valore di implementazione.
- Non assegnato:i dispositivi degli utenti in questo gruppo ricevono il valore che altrimenti avrebbero ricevuto da Remote Config, ma non vengono utilizzati nei risultati del confronto del rollout.
In altre parole, se esegui l'implementazione per il 2% dei tuoi utenti, questi vengono aggiunti al gruppo abilitato e un ulteriore 2% di utenti viene aggiunto al gruppo di controllo, che viene utilizzato per il confronto. Il 96% degli utenti rimane in Non assegnati.
Questo approccio garantisce un confronto equo tra il rendimento degli utenti e dei dispositivi che ricevono il valore di implementazione e quelli che non lo ricevono e consente di determinare in modo efficace il successo o l'errore dell'implementazione nella pagina Risultati implementazione.
L'assegnazione del gruppo di implementazione è coerente in tutte le fasi di un'implementazione. In altre parole, se all'interno della stessa implementazione riduci la percentuale allo 0%, tutti gli utenti riprenderanno a ricevere il valore del parametro definito nel Remote Config modello. Se in un secondo momento decidi di aumentare la percentuale di implementazione, gli utenti che facevano parte dei gruppi abilitati o di controllo precedenti torneranno al gruppo a cui erano stati assegnati in origine e riceveranno valori coerenti con questi gruppi.
Dopo aver verificato che la release è andata a buon fine e aver deciso di lanciarla completamente per il 100% degli utenti target, Firebase non utilizza più il gruppo di controllo e tutti gli utenti e i dispositivi target ricevono il valore di implementazione.
Quando utilizzare un'implementazione anziché un test A/B?
I rollout di Remote Config e A/B Testing sono adatti a casi d'uso leggermente diversi e possono essere utilizzati in modo complementare.
I rollout sono release graduali e vengono spesso utilizzati per rilasciare una nuova funzionalità a un gruppo selezionato di utenti. Potresti scegliere come target gli utenti di un determinato paese o che utilizzano una versione specifica della tua app. Utilizza le implementazioni per ridurre i rischi, per testare nuove funzionalità in un ambiente reale, con controlli rigorosi, in modo da poter vedere il rendimento della funzionalità. Puoi anche monitorare il rendimento dei servizi di backend con il carico aggiuntivo della nuova funzionalità e l'utilizzo approssimativo per assicurarti che la modifica sia scalabile prima di rilasciarla a un pubblico più ampio.
I rollout sono strumenti eccellenti per le situazioni in cui implementi nuove funzionalità che modificano notevolmente la funzionalità, modifiche che possono portare a risultati imprevedibili o modifiche che possono influire sulla tua infrastruttura di backend, sui tuoi servizi o sulle API esterne.
A/B Testing ti consente di presentare più versioni di una funzionalità o di un elemento dell'app, ad esempio aggiornare l'aspetto dell'interfaccia utente, modificare il testo pubblicitario, aggiornare la difficoltà del livello di gioco. Puoi quindi mostrare diverse varianti agli utenti per scoprire quale opzione genera risultati migliori in base alla metrica scelta (ad es. coinvolgimento degli utenti, clic sugli annunci ed entrate).
Utilizza A/B Testing per prendere decisioni basate sui dati, ottimizzare e comprendere le preferenze dei tuoi utenti. È perfetto per le situazioni in cui hai più opzioni paragonabili e obiettivi molto specifici. Ad esempio, A/B Testing è appropriato per le modifiche in cui vuoi modificare la tua app per migliorare una metrica specifica, ad esempio testare quale posizionamento dell'annuncio banner genera più clic.
È anche buona norma combinare le implementazioni di Remote Config e A/B Testing all'interno di una strategia generale: innanzitutto, crea un test A/B con un insieme limitato di utenti per determinare la variante che produce i risultati ottimali per le tue metriche chiave. Dopo che A/B Testing ha determinato un leader, crea un rollout con la variante vincente. Monitora la stabilità e le metriche chiave man mano che aumenti gradualmente il numero di utenti esposti e, quando hai la certezza del rendimento, implementala per il 100%.
Comprendere i risultati dell'implementazione
Dopo aver pubblicato un'implementazione, dovresti iniziare a vedere i risultati quasi immediatamente.
Puoi visualizzare i risultati in diversi modi:
- Nella pagina Parametri, espandi il parametro configurato per l'implementazione e, sotto l'implementazione, fai clic su Visualizza risultati.
- Nella pagina Implementazioni, fai clic sul nome dell'implementazione.
Il selettore di app nella parte superiore della pagina dei risultati ti consente di selezionare le visualizzazioni per app specifiche. I risultati sono suddivisi in più sezioni:
- La sezione Riepilogo, che mostra la Percentuale di implementazione configurata e consente di eseguire il rollback o modificare l'implementazione. Se espansa, mostra una Panoramica dei dettagli di configurazione dell'implementazione e la Cronologia delle modifiche.
La sezione Utenti, che mostra il numero di installazioni di app uniche che hanno recuperato un modello di implementazione nei seguenti gruppi:
- Attivato:numero di istanze dell'app che corrispondono alla condizione di implementazione target e che hanno recuperato il valore di implementazione.
- Gruppo di controllo:numero di istanze dell'app che corrispondono alla condizione di implementazione target e che hanno recuperato il valore invariato.
- Target: numero totale stimato di istanze che corrispondono alla condizione impostata nell'implementazione, che deve ricevere l'implementazione o un valore invariato.
Scopri di più nella pagina Informazioni sull'appartenenza al gruppo di implementazione.
Le sezioni Crashlytics e Analytics, che mostrano i dati di confronto per i gruppi Abilitato e di controllo. Puoi filtrare i dati raccolti per le ultime 24 ore, dall'ultima pubblicazione o per gli ultimi 7 giorni. Ultime 24 ore è la visualizzazione predefinita.
Crashlytics risultati per le implementazioni
Puoi vedere il numero totale di arresti anomali, errori non fatali ed ANR che si sono verificati durante l'implementazione. Ogni categoria di risultati mostra un grafico a barre che confronta i totali non elaborati degli utenti Attivati e Gruppo di controllo che hanno soddisfatto la condizione dell'implementazione.
- Arresti anomali:mostra il numero e la percentuale di arresti anomali e il numero di utenti unici che hanno riscontrato arresti anomali per i gruppi Abilitato e di controllo.
- Non fatali: mostra il numero e la percentuale di errori non fatali, nonché il numero di utenti unici che hanno riscontrato errori non fatali.
- ANR (solo app per Android): mostra il numero e la percentuale di eventi "L'applicazione non risponde", nonché il numero di utenti unici che hanno riscontrato uno o più eventi ANR.
Per informazioni più dettagliate sugli arresti anomali, puoi fare clic su Visualizza altro in Crashlytics. Si apre la pagina Crashlytics con un filtro attivo per il rollout di cui stavi esaminando i risultati. I risultati dell'implementazione nella paginaCrashlytics misurano tutti gli utenti che sono stati mai esposti alla rispettiva variante, Attivata o Controllo. Puoi scegliere di visualizzare gli arresti anomali del gruppo di controllo, gli arresti anomali del gruppo abilitato o entrambi.
Google Analytics risultati per le implementazioni
La sezione Google AnalyticsRisultati dell'implementazione confronta le metriche Analytics per tutti gli utenti che sono stati esposti ai gruppi abilitati o di controllo in dettaglio e nelle visualizzazioni dei grafici. Sono disponibili tre metriche:
- Entrate totali:mostra l'importo totale delle entrate, incluse le entrate pubblicitarie e quelle generate dagli acquisti, in $. Puoi filtrare i risultati in modo da visualizzare quelli specifici per le entrate pubblicitarie o le entrate generate dagli acquisti.
- Conversioni totali:mostra il conteggio non elaborato della somma di tutti gli eventi di conversione. Puoi filtrare i risultati in base alla conversione che vuoi mettere in evidenza.
- Durata totale del coinvolgimento:mostra la durata totale del coinvolgimento degli utenti con una delle varianti di implementazione. La durata totale del coinvolgimento viene visualizzata nel formato Ore:Minuti:Secondi. Ad esempio, 01:31:28. Il grafico mostra i dati relativi al periodo di tempo selezionato sopra la sezione Crashlytics.