Criar experimentos do recurso Mensagens no app com o Teste A/B

Quando você entra em contato com seus usuários ou inicia uma nova campanha de marketing, precisa garantir que está fazendo isso corretamente. Os testes A/B podem ajudar você a encontrar o texto e a aparência ideais usando o teste de variantes de mensagens em partes selecionadas de sua base de usuários. Se o objetivo é uma melhor retenção ou conversão em uma oferta, o teste A/B realiza análises estatísticas para determinar se o desempenho de uma variante de mensagem está melhor que o valor de referência do objetivo selecionado.

Para as variantes de recurso do teste A/B com um valor de referência, siga estas etapas:

Crie um experimento.
Valide o experimento em um dispositivo de teste.
Gerencie o experimento.

Criar um experimento

Com um experimento que usa o recurso Mensagens no app do Firebase, é possível avaliar diversas variantes de uma única mensagem no app.

Faça login no Console do Firebase e verifique se o Google Analytics está ativado no seu projeto para que o experimento tenha acesso aos dados do Analytics.

Se você não ativou o Google Analytics ao criar seu projeto, ative na guia Integrações, que pode ser acessada usando a opção > Configurações do projeto no Console do Firebase.
Na seção Engajamento da barra de navegação do Console do Firebase, clique em Teste A/B.
Clique em Criar experimento e, em seguida, selecione Mensagens no app na opção para selecionar o serviço para fazer experimentos.
Como alternativa, na barra de navegação do Console do Firebase, expanda a seção Engajamento e, em seguida, clique em Mensagens no app. Em seguida, clique em Novo experimento.
Digite um nome e uma descrição opcional para seu experimento e clique em Avançar.
Preencha os campos de Segmentação, escolhendo primeiro o app que usa seu experimento. Também é possível segmentar um subconjunto dos usuários para participar do experimento. Basta escolher opções que incluem o seguinte:
- Versão: uma ou mais versões do seu app.
- Público a que o usuário pertence: públicos do Analytics utilizados para segmentar usuários que podem ser incluídos no experimento.
- Propriedade do usuário: uma ou mais propriedades do Analytics para selecionar usuários que podem ser incluídos no experimento.
- País/região: um ou mais países ou regiões para selecionar usuários que podem ser incluídos no experimento.
- Idioma do dispositivo: um ou mais idiomas e locais usados para selecionar usuários que podem ser incluídos no experimento.
- Primeiro acesso: segmente usuários com base na primeira vez que acessaram seu aplicativo
- Último engajamento com o app: segmente usuários com base na última vez que eles interagiram com seu app
Observação: os experimentos que segmentam públicos-alvo de usuários do Analytics podem levar de 24 a 48 horas para acumular dados. Para saber mais sobre essa e outras opções de segmentação, consulte Segmentação de usuários.
Porcentagem de usuários-alvo: insira a porcentagem da base de usuários do seu app correspondente aos critérios definidos em Usuários-alvo que você quer dividir igualmente entre o valor de referência e uma ou mais variantes no experimento. Pode ser qualquer porcentagem entre 0,01% e 100%. As porcentagens são reatribuídas aleatoriamente aos usuários para cada experimento, incluindo experimentos duplicados.
Na seção Variantes, configure uma mensagem no app de referência para enviar ao grupo de referência usando a interface de criação de mensagens usada em uma campanha normal de mensagens no app.
Para adicionar uma variante ao experimento, clique em Adicionar variante. Por padrão, os experimentos têm um valor de referência e uma variante.
(Opcional) Insira um nome mais descritivo para cada variante.
(opcional) Na parte de cima da seção Variantes, clique no botão Comparar variantes para comparar uma ou mais variantes de mensagem lado a lado com a mensagem de referência.
Defina uma métrica de objetivo para seu experimento para ser usada na avaliação das variantes do experimento, além das métricas adicionais que você quiser usar na lista. Tais métricas incluem objetivos integrados (envolvimento, compras, receita, retenção etc.), Eventos de conversão e outros eventos do Google Analytics.
Configure a programação do experimento:
- Defina uma data de Início e Término para o experimento.
- Defina como as mensagens no app são acionadas em todas as variantes.
Clique em Revisar para salvar o experimento.

É permitido ter até 300 experimentos por projeto, que podem consistir em até 24 experimentos em execução, com o restante como rascunho ou concluído.

Validar seu experimento em um dispositivo de teste

Para cada instalação do Firebase, é possível recuperar o token de autenticação de instalação associado a ele. Use esse token para testar variantes específicas do experimento em um dispositivo de teste com seu app instalado. Para validar seu experimento em um dispositivo de teste, siga as etapas a seguir:

Consiga o token de autenticação de instalação da seguinte forma:

Swift

do {
  let result = try await Installations.installations()
    .authTokenForcingRefresh(true)
  print("Installation auth token: \(result.authToken)")
} catch {
  print("Error fetching token: \(error)")
}

Objective-C

[[FIRInstallations installations] authTokenForcingRefresh:true
                                               completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
  if (error != nil) {
    NSLog(@"Error fetching Installation token %@", error);
    return;
  }
  NSLog(@"Installation auth token: %@", [result authToken]);
}];

Java

FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
        .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
    @Override
    public void onComplete(@NonNull Task<InstallationTokenResult> task) {
        if (task.isSuccessful() && task.getResult() != null) {
            Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
        } else {
            Log.e("Installations", "Unable to get Installation auth token");
        }
    }
});MainActivity.java

Kotlin+KTX

val forceRefresh = true
FirebaseInstallations.getInstance().getToken(forceRefresh)
    .addOnCompleteListener { task ->
        if (task.isSuccessful) {
            Log.d("Installations", "Installation auth token: " + task.result?.token)
        } else {
            Log.e("Installations", "Unable to get Installation auth token")
        }
    }MainActivity.kt

Na barra de navegação do Console do Firebase, clique em Teste A/B.
Selecione Rascunho (e/ou Em execução para experimentos da Configuração remota), passe o cursor sobre seu experimento e clique no menu de contexto (). Depois disso, selecione Gerenciar dispositivos de teste.
Insira o token de autenticação de instalação para um dispositivo de teste e escolha a variante do experimento a ser enviada a esse dispositivo.
Execute o aplicativo e confirme se a variante selecionada está sendo recebida no dispositivo de teste.

Para saber mais sobre as instalações do Firebase, consulte Gerenciar instalações do Firebase.

Gerenciar seu experimento

Ao criar um experimento com os recursos Configuração remota, Editor do Notificações ou Mensagens no app do Firebase, você pode validar e iniciar seu experimento, monitorá-lo durante a execução e aumentar o número de usuários incluídos nele.

Quando seu experimento estiver concluído, será possível anotar as configurações usadas pela variante vencedora e implementar essas configurações para todos os usuários. Também é possível executar outro experimento.

Iniciar um experimento

Na seção Engajamento da barra de navegação do Console do Firebase, clique em Teste A/B.
Clique em Rascunho e, em seguida, no título do seu experimento.
Para confirmar que seu app tem usuários que seriam incluídos no experimento, amplie os detalhes do rascunho e verifique se há um número maior que 0% na seção Segmentação e distribuição (por exemplo, 1% dos usuários que correspondam aos critérios).
Para alterar o experimento, clique em Editar.
Para iniciar o experimento, clique em Iniciar experimento. Você pode executar até 24 experimentos por projeto de cada vez.

Monitorar um experimento

É possível verificar o progresso de um experimento que já está sendo executado há um tempo e ver quais são os resultados para os usuários que participaram dele.

Na seção Engajamento da barra de navegação do Console do Firebase, clique em Teste A/B.
Clique em Executar e depois pesquise ou selecione o título do seu experimento. Nessa página, é possível ver várias estatísticas observadas e estimadas do experimento em execução, incluindo as seguintes:
- Porcentagem de diferença do valor de referência: uma medida da melhoria de uma métrica para uma determinada variante em comparação com o valor de referência. É calculada pela comparação entre o intervalo de valores da variante e o intervalo de valores de referência.
- Probabilidade de superar o valor de referência: a chance estimada de que uma determinada variante supere o valor de referência na métrica selecionada.
- observed_metric por usuário: baseada nos resultados do experimento, é o intervalo previsto em que o valor da métrica vai se enquadrar ao longo do tempo.
- observed_metric total: o valor cumulativo observado para o valor de referência ou variante. Ele é usado para avaliar o desempenho de cada variante do experimento e calcular a Melhoria, o Intervalo de valores, a Probabilidade de superar o valor de referência e a Probabilidade de ser a melhor variante. Dependendo da métrica avaliada, o nome dessa coluna pode ser "Duração por usuário", "Receita por usuário", "Taxa de retenção" ou "Taxa de conversão".
Depois que o experimento for executado por um tempo (pelo menos 7 dias para o FCM e o recurso "Mensagens no app" ou 14 dias para a Configuração remota), os dados nesta página vão indicar qual variante é a "líder" se houver alguma assim. Algumas medidas são acompanhadas por um gráfico de barras que apresenta os dados em um formato visual.

Implantar um experimento para todos os usuários

Após o experimento ser executado por tempo suficiente para que você tenha uma variante "líder" ou vencedora para sua métrica de objetivo, será possível implantar o experimento para 100% dos usuários. Isso permite selecionar uma variante a ser publicada para todos os usuários. Mesmo que seu experimento não tenha criado um vencedor claro, ainda é possível implantar uma variante para todos os usuários.

Na seção Engajamento da barra de navegação do Console do Firebase, clique em Teste A/B.
Clique em Concluído ou Em execução, selecione um experimento que você quer lançar para todos os usuários e clique no menu de contexto (). Lançar variante.
Implante o experimento para todos os usuários com um dos seguintes procedimentos:
- Para um experimento que usa o recurso Editor do Notificações, use a caixa de diálogo Implantar mensagem para enviar a mensagem aos usuários segmentados restantes que não fizeram parte do experimento.
- Para um experimento da Configuração remota, selecione uma variante para determinar quais valores de parâmetros da Configuração remota serão atualizados. Os critérios de segmentação definidos ao criar o experimento serão adicionados como uma nova condição no seu modelo para garantir que o lançamento afete somente os usuários segmentados pelo experimento. Depois de clicar em Revisar na Configuração remota para verificar as mudanças, clique em Publicar alterações para concluir o lançamento.
- Para um experimento do recurso Mensagens no app, use a caixa de diálogo para determinar quais variantes precisam ser implantadas como uma campanha independente para esse recurso. Uma vez selecionado, você será redirecionado para a tela de edição do FIAM para fazer quaisquer alterações (se necessário) antes da publicação.

Expandir um experimento

Se você achar que um experimento não alcança usuários suficientes no teste A/B para declarar um líder, aumente a distribuição do seu experimento para que ele alcance uma porcentagem maior da base de usuários do app.

Na seção Engajamento da barra de navegação do Console do Firebase, clique em Teste A/B.
Selecione o experimento em execução que você quer editar.
Na Visão geral do experimento, clique no menu de contexto () e em Editar experimento em execução.
A caixa de diálogo Segmentação exibe uma opção para aumentar a porcentagem de usuários que estão no experimento em execução. Selecione um número maior que a porcentagem atual e clique em Publicar. O experimento vai ser enviado para a porcentagem de usuários especificada.

Duplicar ou interromper um experimento

Na seção Engajamento da barra de navegação do Console do Firebase, clique em Teste A/B.
Clique em Concluído ou Em execução, mantenha o ponteiro em cima do experimento, clique no menu de contexto () e depois em Duplicar experimento ou Interromper experimento.

Segmentação de usuários

Você pode segmentar os usuários para incluí-los no seu experimento usando os critérios mostrados a seguir.

Critério de segmentação	Operadores	Valores	Observação
Versão	contém, não contém, corresponde exatamente, contém regex	Digite um valor para uma ou mais versões do aplicativo que você quer incluir no experimento.	Ao usar qualquer um dos operadores contém, não contém ou corresponde exatamente, é possível fornecer uma lista de valores separados por vírgula. Ao usar o operador contém regex, é possível criar expressões regulares no formato RE2 (em inglês). A expressão regular precisa corresponder à toda a string de versão de destino ou parte dela. Use as âncoras ^ e $ para corresponder ao começo, ao final ou a toda uma string de destino.
Públicos-alvo	Inclui todos os itens de, inclui pelo menos um item de, não inclui todos os itens de, não inclui pelo menos um item de	Selecione um ou mais públicos do Analytics para segmentar usuários que podem ser incluídos no experimento.	Alguns experimentos que segmentam públicos do Google Analytics podem exigir alguns dias para acumular dados porque estão sujeitos à latência de processamento de dados do Analytics. É mais provável que esse atraso aconteça com novos usuários, que normalmente estão inscritos em públicos-alvo qualificados de 24 a 48 horas após a criação ou em públicos-alvo criados recentemente.
Propriedade do usuário	Para texto: contém, não contém, corresponde exatamente, contém regex Para números: <, ≤, =, ≥, >	Uma propriedade de usuário do Analytics é usada para selecionar usuários que podem ser incluídos em um experimento, com um intervalo de opções para seleção de valores de propriedades do usuário. No cliente, é possível definir apenas valores de string para as propriedades do usuário. Para condições que usam operadores numéricos, o serviço da Configuração remota converte o valor da propriedade de usuário correspondente em um inteiro/float.	Ao usar o operador contém regex, é possível criar expressões regulares no formato RE2 (em inglês). A expressão regular precisa corresponder à toda a string de versão de destino ou parte dela. Use as âncoras ^ e $ para corresponder ao começo, ao final ou a toda uma string de destino.
País/região	N/A	Um ou mais países ou regiões utilizados para selecionar usuários que podem ser incluídos no experimento.
Idiomas	N/A	Um ou mais idiomas e locais usados para selecionar usuários que podem ser incluídos no experimento.
Primeiro acesso	Superior a Inferior a Entre	Segmente usuários com base na primeira vez que eles acessaram seu app. Esse momento está especificado em dias.
Último engajamento no app	Superior a Inferior a Entre	Segmente usuários com base no último engajamento deles com seu app. Esse momento está especificado em dias.

Métricas do Teste A/B

Ao criar um experimento, você escolhe uma métrica principal ou de objetivo. Ela é usada para determinar a variante vencedora. Além disso, é necessário acompanhar outras métricas para entender melhor o desempenho de cada variante do experimento e monitorar tendências importantes que podem variar entre elas, como retenção de usuários, estabilidade do app e receita de compras no aplicativo. É possível acompanhar até cinco métricas sem objetivo no seu experimento.

Por exemplo, suponha que você adicionou novas compras no app e queira comparar a eficácia de duas mensagens de alerta. Nesse caso, escolha a Receita de compras como sua métrica de objetivo porque você quer que a variante vencedora represente a notificação que gerou a maior receita de compras no app. Além disso, como você também quer acompanhar qual variante resultou em mais conversões futuras e usuários retidos, adicione o seguinte em Outras métricas para rastreamento:

Receita total estimada para saber como a receita combinada de compras no app e de publicidade muda nas duas variantes
Retenção (1 dia), Retenção (2 a 3 dias), Retenção (4 a 7 dias) para rastrear a retenção de usuários diária e semanal

As tabelas a seguir fornecem detalhes sobre como as métricas de objetivos e outras métricas são calculadas.

Métricas de objetivos

Métrica	Descrição
Usuários sem falhas	A porcentagem de usuários que não encontraram os erros no app que foram detectados pelo SDK do Firebase Crashlytics durante o experimento.
Estimativa de receita com anúncios	Ganhos estimados com anúncios.
Receita total estimada	Valor combinado para compra e receitas de publicidade estimada.
Receita de compra	Valor combinado para todos os eventos `purchase` e `in_app_purchase`.
Retenção (1 dia)	O número de usuários que retornam ao seu app diariamente.
Retenção (2 a 3 dias)	O número de usuários que retornam ao seu app dentro de 2 a 3 dias.
Retenção (4 a 7 dias)	O número de usuários que retornam ao seu app dentro de 4 a 7 dias.
Retenção (8 a 14 dias)	O número de usuários que retornam ao seu app dentro de 8 a 14 dias.
Retenção (15 dias ou mais)	O número de usuários que retornam ao seu app dentro de 15 dias ou mais, após o último uso.
first_open	Um evento do Analytics acionado quando um usuário abre um app pela primeira vez depois de instalar ou reinstalar o aplicativo. Usado como parte de um funil de conversão.

Outras métricas

Métrica	Descrição
notification_dismiss	Um evento do Analytics acionado quando uma notificação enviada pelo Editor do Notificações é descartada (apenas Android).
notification_receive	Um evento do Analytics acionado quando uma notificação enviada pelo Editor do Notificações é recebida enquanto o app está em segundo plano (apenas Android).
os_update	Um evento do Analytics que rastreia quando o sistema operacional do dispositivo é atualizado para uma nova versão. Se você quiser saber mais, consulte Eventos coletados automaticamente.
screen_view	Um evento do Analytics que rastreia as telas visualizadas no seu app. Para mais informações, consulte Acompanhar exibições de tela.
session_start	Um evento do Analytics que conta as sessões dos usuários no seu app. Para mais informações, consulte Eventos coletados automaticamente.