Crea esperimenti di messaggistica in-app con test A/B

Quando raggiungi i tuoi utenti o avvii una nuova campagna di marketing, devi assicurarti di fare le cose per bene. I test A/B possono aiutarti a trovare la formulazione e la presentazione ottimali testando le varianti dei messaggi su parti selezionate della tua base utenti. Indipendentemente dal fatto che il tuo obiettivo sia migliorare la fidelizzazione o le conversioni di un'offerta, i test A/B possono eseguire analisi statistiche per determinare se una variante del messaggio sta superando la linea di base per l'obiettivo selezionato.

Per eseguire un test A/B delle varianti di funzionalità con un valore di riferimento:

1. Crea l'esperimento.
2. Convalida l'esperimento su un dispositivo di test.
3. Gestisci l'esperimento.

Importante :assicurati di disporre della versione minima dell'SDK per A/B Testing: Google Play Services 11.4.2 per Android e dell'SDK Firebase per le piattaforme Apple 4.5.0.

Crea un esperimento

Un esperimento che utilizza Firebase In-App Messaging ti consente di valutare più varianti di un singolo messaggio in-app.

1. Accedi alla console Firebase e verifica che Google Analytics sia abilitato nel tuo progetto in modo che l'esperimento abbia accesso ai dati di Analytics.

   Se non hai attivato Google Analytics durante la creazione del progetto, puoi farlo nella scheda Integrazioni, a cui puoi accedere utilizzando > Impostazioni progetto nella console Firebase.

2. Nella sezione Coinvolgimento del menu di navigazione della console Firebase, fai clic su A/B Testing.

3. Fai clic su Crea esperimento, quindi seleziona Messaggistica in-app quando ti viene richiesto il servizio con cui vuoi eseguire l'esperimento.

4. In alternativa, nel menu di navigazione della console Firebase, espandi Coinvolgi e fai clic su In-App Messaging. Poi fai clic su Nuovo esperimento.

5. Inserisci un Nome e una Descrizione facoltativa per l'esperimento, quindi fai clic su Avanti.

6. Compila i campi Targeting, scegliendo prima l'app che utilizza l'esperimento. Puoi anche scegliere come target un sottoinsieme di utenti che parteciperanno al tuo esperimento scegliendo opzioni che includono quanto segue:

   • Versione: una o più versioni della tua app
   • Pubblico di utenti: Analytics segmenti di pubblico utilizzati per scegliere come target gli utenti che potrebbero essere inclusi nell'esperimento
   • Proprietà utente: una o più proprietà utente Analytics per selezionare gli utenti che potrebbero essere inclusi nell'esperimento
   • Paese/regione: uno o più paesi o regioni per selezionare gli utenti che potrebbero essere inclusi nell'esperimento.
   • Lingua del dispositivo: una o più lingue e impostazioni internazionali utilizzate per selezionare gli utenti che potrebbero essere inclusi nell'esperimento.
   • Prima apertura: scegli come target gli utenti in base alla prima volta che hanno aperto la tua app.
   • Ultimo coinvolgimento con l'app: scegli come target gli utenti in base all'ultima volta che hanno interagito con la tua app
   Nota: per gli esperimenti che hanno come target i segmenti di pubblico di utenti Analytics potrebbero essere necessarie tra 24 e 48 ore per accumulare dati. Per saperne di più su questa e altre opzioni di targeting, consulta Targeting degli utenti.

7. Imposta la Percentuale di utenti target:seleziona la percentuale della base utenti della tua app corrispondente ai criteri impostati nella sezione Utenti target che vuoi dividere in modo uniforme tra la base di riferimento e una o più varianti nell'esperimento. Può essere qualsiasi percentuale compresa tra 0,01% e 100%. Le percentuali vengono riassegnate in modo casuale agli utenti per ogni esperimento, inclusi gli esperimenti duplicati.

8. Nella sezione Varianti, configura un messaggio in-app di riferimento da inviare al gruppo di riferimento utilizzando l'interfaccia di progettazione dei messaggi che utilizzi per una normale campagna di messaggistica in-app.

9. Per aggiungere una variante all'esperimento, fai clic su Aggiungi variante. Per impostazione predefinita, gli esperimenti hanno una base di riferimento e una variante.

10. (Facoltativo) Inserisci un nome più descrittivo per ogni variante.

11. (Facoltativo) Nella parte superiore della sezione Varianti, fai clic sul pulsante Confronta varianti per confrontare altre varianti di messaggio affiancate al messaggio di riferimento.

12. Definisci una metrica obiettivo da utilizzare per l'esperimento durante la valutazione delle varianti dell'esperimento, insieme a eventuali altre metriche che vuoi utilizzare dall'elenco. Queste metriche includono gli obiettivi integrati (coinvolgimento, acquisti, entrate, fidelizzazione e così via), Analytics e altri eventi Analytics.

13. Configura la pianificazione per l'esperimento:

    • Imposta una data di inizio e una di fine per l'esperimento.
    • Imposta la modalità di attivazione dei messaggi in-app in tutte le varianti.

14. Fai clic su Rivedi per salvare l'esperimento.

Puoi avere fino a 300 esperimenti per progetto, che possono essere costituiti da un massimo di 24 esperimenti in esecuzione, mentre il resto è in bozza o completato.

Convalidare l'esperimento su un dispositivo di test

Per ogni installazione di Firebase, puoi recuperare il token di autenticazione dell'installazione associato. Puoi utilizzare questo token per testare varianti specifiche dell'esperimento su un dispositivo di test su cui è installata la tua app. Per convalidare l'esperimento su un dispositivo di test:

1. Ottieni il token di autorizzazione di installazione nel seguente modo:

   Swift

   do {
     let result = try await Installations.installations()
       .authTokenForcingRefresh(true)
     print("Installation auth token: \(result.authToken)")
   } catch {
     print("Error fetching token: \(error)")
   }

   Objective-C

   [[FIRInstallations installations] authTokenForcingRefresh:true
                                                  completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
     if (error != nil) {
       NSLog(@"Error fetching Installation token %@", error);
       return;
     }
     NSLog(@"Installation auth token: %@", [result authToken]);
   }];

   Java

   FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
           .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
       @Override
       public void onComplete(@NonNull Task<InstallationTokenResult> task) {
           if (task.isSuccessful() && task.getResult() != null) {
               Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
           } else {
               Log.e("Installations", "Unable to get Installation auth token");
           }
       }
   });
   MainActivity.java

   Kotlin+KTX

   val forceRefresh = true
   FirebaseInstallations.getInstance().getToken(forceRefresh)
       .addOnCompleteListener { task ->
           if (task.isSuccessful) {
               Log.d("Installations", "Installation auth token: " + task.result?.token)
           } else {
               Log.e("Installations", "Unable to get Installation auth token")
           }
       }
   MainActivity.kt

2. Nella barra di navigazione della console Firebase, fai clic su A/B Testing.
3. Fai clic su Bozza (e/o In esecuzione per gli esperimenti Remote Config), passa il mouse sopra l'esperimento, fai clic sul menu contestuale () e poi su Gestisci dispositivi di test.
4. Inserisci il token di autenticazione dell'installazione per un dispositivo di test e scegli la variante dell'esperimento da inviare al dispositivo di test.
5. Esegui l'app e verifica che la variante selezionata venga ricevuta sul dispositivo di test.

Per scoprire di più sulle installazioni di Firebase, consulta Gestire le installazioni di Firebase.

Gestire l'esperimento

Indipendentemente dal fatto che tu crei un esperimento con Remote Config, con il generatore di notifiche o con Firebase In-App Messaging, puoi convalidarlo e avviarlo, monitorarlo mentre è in esecuzione e aumentare il numero di utenti inclusi nel tuo esperimento in esecuzione.

Al termine dell'esperimento, puoi prendere nota delle impostazioni utilizzate dalla variante vincente e poi implementarle per tutti gli utenti. In alternativa, puoi eseguire un altro esperimento.

Avvia un esperimento

1. Nella sezione Coinvolgimento del menu di navigazione della console Firebase, fai clic su A/B Testing.
2. Fai clic su Bozza e poi sul titolo dell'esperimento.
3. Per verificare che la tua app abbia utenti che potrebbero essere inclusi nell'esperimento, espandi i dettagli della bozza e controlla se nella sezione Targeting e distribuzione è presente un numero superiore al 0% (ad esempio, 1% degli utenti che soddisfano i criteri).
4. Per modificare l'esperimento, fai clic su Modifica.
5. Per avviare l'esperimento, fai clic su Avvia esperimento. Puoi eseguire fino a 24 esperimenti per progetto alla volta.

Monitorare un esperimento

Una volta che un esperimento è in esecuzione da un po' di tempo, puoi monitorarne lo stato e visualizzare i risultati per gli utenti che hanno partecipato finora.

1. Nella sezione Coinvolgimento del menu di navigazione della console Firebase, fai clic su A/B Testing.

2. Fai clic su In esecuzione e poi cerca o fai clic sul titolo dell'esperimento. In questa pagina puoi visualizzare varie statistiche osservate e modellate sull'esperimento in esecuzione, tra cui:

   • Differenza in percentuale rispetto al valore di riferimento: una misura del miglioramento di una metrica per una determinata variante rispetto al valore di riferimento. Calcolato confrontando l'intervallo di valori della variante con l'intervallo di valori della base di riferimento.
   • Probabilità di superare la base di riferimento: la probabilità stimata che una determinata variante superi la base di riferimento per la metrica selezionata.
   • observed_metric per utente: in base ai risultati dell'esperimento, si tratta dell'intervallo previsto in cui rientra il valore della metrica nel corso del tempo.
   • Totale observed_metric: il valore cumulativo osservato per la linea di base o la variante. Il valore viene utilizzato per misurare il rendimento di ogni variante dell'esperimento e viene utilizzato per calcolare Miglioramento, Intervallo di valori, Probabilità di superare la base di riferimento e Probabilità di essere la variante migliore. A seconda della metrica misurata, questa colonna potrebbe essere etichettata come "Durata per utente", "Entrate per utente", "Tasso di fidelizzazione" o "Tasso di conversione".

3. Dopo che l'esperimento è stato eseguito per un po' di tempo (almeno 7 giorni per FCM e In-App Messaging o 14 giorni per Remote Config), i dati in questa pagina indicano quale variante, se presente, è la "leader". Alcune misurazioni sono accompagnate da un grafico a barre che presenta i dati in un formato visivo.

Suggerimento: puoi ordinare i dati per colonna e filtrare gli esperimenti dei test A/B per nome e stato dell'esperimento.

Implementare un esperimento per tutti gli utenti

Dopo che un esperimento è stato eseguito per un periodo di tempo sufficiente a identificare una "variante migliore" per la metrica dell'obiettivo, puoi rilasciarlo per il 100% degli utenti. In questo modo potrai selezionare una variante da pubblicare per tutti gli utenti in futuro. Anche se l'esperimento non ha delineato chiaramente una variante migliore, puoi comunque scegliere di rilasciarne una per tutti i tuoi utenti.

1. Nella sezione Coinvolgimento del menu di navigazione della console Firebase, fai clic su A/B Testing.
2. Fai clic su Completato o In esecuzione, su un esperimento che vuoi rilasciare a tutti gli utenti, poi sul menu contestuale () Implementa variante.

3. Implementa l'esperimento per tutti gli utenti eseguendo una delle seguenti operazioni:

   • Per un esperimento che utilizza lo strumento di creazione di notifiche, utilizza la finestra di dialogo Messaggio di implementazione per inviare il messaggio agli utenti target rimanenti che non facevano parte dell'esperimento.
   • Per un esperimento Remote Config, seleziona una variante per determinare i valori parametro diRemote Config da aggiornare. I criteri di targeting definiti durante la creazione dell'esperimento vengono aggiunti nel modello come nuova condizione, per garantire che l'implementazione interessi solo gli utenti scelti come target dell'esperimento. Dopo aver fatto clic su Rivedi in Remote Config per esaminare le modifiche, fai clic su Pubblica modifiche per completare l'implementazione.
   • Per un esperimento In-App Messaging, utilizza la finestra di dialogo per determinare quale variante deve essere implementata come campagna In-App Messaging autonoma. Una volta selezionato, viene visualizzata la schermata di composizione FIAM per apportare eventuali modifiche (se necessarie) prima della pubblicazione.

Espandere un esperimento

Se noti che un esperimento non attira un numero sufficiente di utenti per consentire a A/B Testing di dichiararne il leader, puoi aumentare la distribuzione dell'esperimento per raggiungere una percentuale maggiore della base utenti dell'app.

1. Nella sezione Coinvolgimento del menu di navigazione della console Firebase, fai clic su A/B Testing.
2. Seleziona l'esperimento in esecuzione che vuoi modificare.
3. Nella Panoramica dell'esperimento, fai clic sul menu contestuale () e poi su Modifica esperimento in esecuzione.
4. La finestra di dialogo Targeting mostra un'opzione per aumentare la percentuale di utenti inclusi nell'esperimento in esecuzione. Seleziona un numero superiore alla percentuale corrente e fai clic su Pubblica. L'esperimento verrà inviato alla percentuale di utenti specificata.

Duplicare o interrompere un esperimento

1. Nella sezione Coinvolgimento del menu di navigazione della console Firebase, fai clic su A/B Testing.
2. Fai clic su Completato o In esecuzione, tieni il puntatore sopra l'esperimento, fai clic sul menu contestuale () e poi fai clic su Duplica esperimento o Interrompi esperimento.

Targeting per utente

Puoi scegliere come target gli utenti da includere nell'esperimento utilizzando i seguenti criteri di targeting per gli utenti.

Criterio di targeting	Operatori	Valori	Nota
Versione	contiene, non contiene, corrisponde esattamente, contiene un'espressione regolare	Inserisci un valore per una o più versioni dell'app da includere nell'esperimento.	Quando utilizzi gli operatori contiene, non contiene o corrisponde esattamente a, puoi fornire un elenco di valori separati da virgole. Quando utilizzi l'operatore contiene regex, puoi creare espressioni regolari nel formato RE2. L'espressione regolare può corrispondere completamente o in parte alla stringa della versione di destinazione. Puoi anche utilizzare le ancore ^ e $ per trovare corrispondenze all'inizio, alla fine o nell'intera stringa di destinazione.
Segmenti di pubblico	include tutti, include almeno uno di, non include tutti, non include almeno uno di	Seleziona uno o più segmenti di pubblico Analytics per scegliere come target gli utenti che potrebbero essere inclusi nell'esperimento.	Alcuni esperimenti che hanno come target i segmenti di pubblico Google Analytics potrebbero richiedere alcuni giorni per accumulare dati perché sono soggetti a Analytics latenza di elaborazione dei dati. È più probabile che si verifichi questo ritardo con i nuovi utenti, che in genere vengono registrati nei segmenti di pubblico idonei 24-48 ore dopo la creazione, o per i segmenti di pubblico creati di recente.
Proprietà utente	Per il testo: contiene, non contiene, corrisponde esattamente, contiene regex Per i numeri: <, ≤, =, ≥, >	Una proprietà utente Analytics viene utilizzata per selezionare gli utenti che potrebbero essere inclusi in un esperimento, con una serie di opzioni per la selezione dei valori della proprietà utente. Sul client, puoi impostare solo valori di stringa per le proprietà utente. Per le condizioni che utilizzano operatori numerici, il servizio Remote Config converte il valore della corrispondente proprietà utente in un numero intero/in un numero con virgola mobile.	Quando utilizzi l'operatore contiene regex, puoi creare espressioni regolari nel formato RE2. L'espressione regolare può corrispondere completamente o in parte alla stringa della versione di destinazione. Puoi anche utilizzare le ancore ^ e $ per trovare corrispondenze all'inizio, alla fine o nell'intera stringa di destinazione.
Paese/regione	N/D	Uno o più paesi o regioni utilizzati per selezionare gli utenti che potrebbero essere inclusi nell'esperimento.
Lingue	N/D	Una o più lingue e impostazioni internazionali utilizzate per selezionare gli utenti che potrebbero essere inclusi nell'esperimento.
Prima apertura	Più di Meno di Tra	Scegli come target gli utenti in base alla prima volta che hanno aperto la tua app, specificata in giorni.
Ultimo coinvolgimento con l'app	Più di Meno di Tra	Scegli come target gli utenti in base all'ultima volta che hanno interagito con la tua app, specificato in giorni.

A/B Testing metriche

Quando crei l'esperimento, scegli una metrica principale o di obiettivo, che viene utilizzata per determinare la variante migliore. Dovresti anche monitorare altre metriche per comprendere meglio il rendimento di ogni variante dell'esperimento e rilevare tendenze importanti che possono variare da una variante all'altra, come la fidelizzazione degli utenti, la stabilità dell'app e le entrate generate dagli acquisti in-app. Nell'esperimento puoi monitorare fino a cinque metriche non relative agli obiettivi.

Ad esempio, supponiamo che tu abbia aggiunto nuovi acquisti in-app alla tua app e voglia confrontare l'efficacia di due diversi messaggi di "promemoria". In questo caso, puoi decidere di scegliere di impostare Entrate generate dagli acquisti come metrica dell'obiettivo perché vuoi che la variante vincente rappresenti la notifica che ha generato le entrate più elevate dagli acquisti in-app. Poiché vuoi anche monitorare la variante che ha generato più conversioni future e utenti fidelizzati, potresti aggiungere quanto segue in Altre metriche da monitorare:

• Entrate totali stimate per vedere in che modo le entrate pubblicitarie e quelle generate dagli acquisti in-app combinate differiscono tra le due varianti
• Fidelizzazione (1 giorno), Fidelizzazione (2-3 giorni), Fidelizzazione (4-7 giorni) per monitorare la fidelizzazione giornaliera/settimanale degli utenti

Nota: gli eventi Analytics vengono visualizzati solo negli elenchi delle metriche se sono stati attivati dalla tua app. Tuttavia, puoi digitare il nome della metrica nel campo Seleziona la metrica dell'obiettivo e fare clic su Crea evento per aggiungerla. La metrica verrà utilizzata quando la tua app attiverà questi eventi in futuro.

Le seguenti tabelle forniscono dettagli su come vengono calcolate le metriche relative agli obiettivi e altre metriche.

Metriche relative all'obiettivo

Metrica	Descrizione
Utenti che non hanno sperimentato arresti anomali	La percentuale di utenti che non hanno riscontrato errori nella tua app rilevati dall'SDK Firebase Crashlytics durante l'esperimento.
Entrate pubblicitarie stimate	Utili stimati degli annunci.
Entrate stimate totali	Valore combinato per le entrate generate dagli acquisti e quelle pubblicitarie stimate.
Entrate generate dagli acquisti	Valore combinato per tutti gli eventi purchase e in_app_purchase.
Fidelizzazione (1 giorno)	Il numero di utenti che tornano alla tua app su base giornaliera.
Conservazione (2-3 giorni)	Il numero di utenti che tornano nella tua app entro 2-3 giorni.
Fidelizzazione (4-7 giorni)	Il numero di utenti che tornano alla tua app entro 4-7 giorni.
Fidelizzazione (8-14 giorni)	Il numero di utenti che tornano nella tua app entro 8-14 giorni.
Fidelizzazione (più di 15 giorni)	Il numero di utenti che tornano alla tua app 15 o più giorni dopo l'ultima volta che l'hanno utilizzata.
first_open	Un evento Analytics che si attiva quando un utente apre un'app per la prima volta dopo averla installata o reinstallata. Utilizzato nell'ambito di una canalizzazione di conversione.

Altre metriche

Metrica	Descrizione
notification_dismiss	Un evento Analytics che si attiva quando viene ignorata una notifica inviata dal editor di notifiche (solo Android).
notification_receive	Un evento Analytics che si attiva quando viene ricevuta una notifica inviata dal editor di notifiche mentre l'app è in background (solo Android).
os_update	Un evento Analytics che monitora quando il sistema operativo del dispositivo viene aggiornato a una nuova versione. Per saperne di più, consulta la sezione Eventi raccolti automaticamente.
screen_view	Un evento Analytics che monitora le schermate visualizzate nella tua app. Per scoprire di più, consulta Monitorare visualizzazioni di schermate.
session_start	Un evento Analytics che conteggia le sessioni utente nella tua app. Per saperne di più, consulta Eventi raccolti automaticamente.