Firebase A/B Testing

O Firebase A/B Testing ajuda você a otimizar a experiência no app simplificando a maneira como você gerencia, analisa e escalona produtos e experimentos de marketing. Ele permite testar alterações na IU, nos recursos ou nas campanhas de engajamento do seu app para ver como elas afetam suas principais métricas (como receita e retenção) antes de implementá-las amplamente.

O A/B Testing trabalha com o FCM para testar diferentes mensagens de marketing e com o Remote Config para testar mudanças no app.


Pronto para começar? Escolha um produto:

Criar experimentos do Remote Config Criar experimentos com mensagens

Principais recursos

Testar e melhorar sua experiência com o produto Use Remote Config para criar experimentos e fazer alterações no comportamento e na aparência do app em todas as variantes no experimento. Além disso, você pode testar qual experiência de produto é a mais eficaz para gerar os resultados mais relevantes.
Encontrar formas de envolver novamente seus usuários usando o Editor do Notificações Use o A/B Testing para encontrar as configurações de texto e mensagens mais eficazes para levar usuários ao seu app.
Implantar novos recursos com segurança Antes de lançar um novo recurso, use um subconjunto menor de usuários para verificar se esse recurso é adequado às suas metas. Quando você tiver confiança nos resultados do A/B Testing, lance o recurso para todos os usuários.
Segmentar grupos de usuários Faça testes A/B segmentados usando dados sobre os usuários do seu app. Por exemplo, é possível segmentar um subconjunto de usuários que usa uma versão do app, uma plataforma ou um idioma específico ou selecionar usuários que correspondam a um valor de propriedade do usuário do Google Analytics.

Como funciona?

Ao criar um experimento, gere diversas variantes de uma experiência do usuário e meça o desempenho delas em relação a uma meta que você quer alcançar, como impulsionar as compras no app. Seu grupo de usuários segmentado pode ser definido por vários critérios encadeados com a lógica AND. Por exemplo, você pode limitar o grupo a usuários de uma versão específica do app que pertença a um público do Analytics, como usuários com falhas, que correspondem a uma propriedade do usuário personalizada do Google Analytics definida pelo cliente.

Os experimentos do Teste AB testam a Configuração remota e as ações das mensagens usando o Google Analytics para segmentar usuários e medir os resultados.

Com o Remote Config, você pode testar alterações em um ou mais parâmetros para alterar o comportamento e a aparência do app. É possível usá-lo para mudanças pequenas, como o ajuste do melhor esquema de cores e o posicionamento das opções do menu, ou para mudanças mais significativas, como testar um recurso ou design de interface completamente novo. Com o Editor do Notificações, você pode criar experimentos se quiser encontrar o texto certo para uma mensagem de notificação.

Não importa se o experimento usa o Remote Config ou o Editor do Notificações, você pode monitorá-lo até identificar um líder, a variante que melhor atinge a meta. Você pode iniciar o experimento com uma pequena porcentagem de sua base de usuários e, em seguida, aumentá-la ao longo do tempo. Se o primeiro experimento não revelar uma variante que atinja a meta melhor do que o valor de referência, você poderá iniciar uma nova rodada de testes para encontrar a melhor maneira de melhorar seu app.

Além da meta, você também pode acompanhar outras métricas (falhas do app, retenção e receita) para ter uma compreensão mais abrangente do resultado do experimento e como ele afeta a experiência de uso do app.

Caminho de implementação

Adicione Remote Config ou Firebase Cloud Messaging ao app Se o app já usa o Remote Config ou o Cloud Messaging (ou ambos), é possível pular para a próxima etapa.
Definir as variantes que quer avaliar com um teste A/B Não importa se a mudança é pequena ou envolve a adição de uma nova interface ou recurso. Se você pode controlar essa mudança usando o Remote Config, é possível testar várias variantes dela com o A/B Testing.

Você também pode usar o A/B Testing com o Editor do Notificações para testar diversas variantes na campanha de reengajamento antes do lançamento para todos os usuários.
Definir como você medirá o sucesso Com um experimento que usa o Editor do Notificações, você pode usar um evento do Analytics para definir a meta do experimento e comparar as variantes dele. Com um experimento do Remote Config, você pode usar um evento do Analytics ou um funil de conversão para definir a meta do experimento.
Monitorar o experimento para encontrar a variante vencedora Você pode iniciar o experimento com apenas alguns usuários e, em seguida, implementá-lo para mais usuários se os resultados iniciais parecerem bons. Conforme você monitora o experimento, poderá ver se algumas variantes causam mais falhas de apps ou outros impactos na experiência no app, e também qual variante fez o maior progresso em direção à meta.

Próximas etapas