Este guia fornece informações sobre os principais conceitos relacionados aos lançamentos da Configuração remota, para que você possa:
- Entenda como funciona a associação a grupos.
- Saiba quando usar um lançamento ou um teste A/B.
- Saiba como interpretar os resultados do lançamento.
Entender a associação ao grupo de lançamento
Quando você cria um novo lançamento e atribui uma porcentagem, o Firebase coloca uma parte do seu público com o mesmo tamanho em um grupo de controle para gerar resultados precisos ao comparar o desempenho do recurso ativado, resultando nos grupos a seguir.
- Ativado: os dispositivos de usuário atribuídos a este grupo recebem o valor que você configurou no lançamento.
- Controle: os dispositivos de usuários atribuídos a esse grupo recebem valores que receberiam da Configuração remota, não o valor de lançamento.
- Não atribuído:os dispositivos dos usuários neste grupo recebem o valor que receberiam da Configuração remota, mas não são usados nos resultados de comparação de lançamento.
Ou seja, se você lançar para 2% dos seus usuários, eles serão adicionados ao grupo "Ativado" e mais 2% dos usuários serão adicionados ao grupo de controle, que é usado para comparação. 96% dos usuários continuam no status "Não atribuído".
Essa abordagem garante uma comparação justa entre o desempenho dos usuários e dispositivos que recebem o valor do lançamento e aqueles que não recebem e permite determinar o sucesso ou falha do lançamento na página Resultados do lançamento.
A atribuição do grupo de lançamento é consistente em todas as fases de um lançamento. Ou seja, no mesmo lançamento, se você reduzir a porcentagem para 0%, todos os usuários vão voltar a receber o valor de parâmetro definido no modelo da Configuração remota. Se mais tarde você decidir aumentar a porcentagem de lançamento, os usuários que faziam parte dos grupos ativados ou de controle anteriores retornarão ao grupo a que foram atribuídos originalmente e receberão valores consistentes com esses grupos.
Depois que você verificar se a versão foi bem-sucedida e decidir lançar totalmente para 100% dos usuários segmentados, o Firebase deixará de usar o grupo de controle e todos os usuários e dispositivos segmentados receberão o valor do lançamento.
Quando usar um lançamento em vez de um teste A/B?
Os lançamentos da Configuração remota e o Teste A/B são apropriados para casos de uso um pouco diferentes e podem ser usados de maneira complementar.
Os lançamentos são graduais e geralmente são usados para lançar um novo recurso para um grupo seleto de usuários. É possível segmentar usuários de um país específico ou usar uma versão específica do app. Use lançamentos para reduzir riscos e testar novos recursos em um ambiente real com controles rigorosos para conferir o desempenho do recurso. Também é possível monitorar o desempenho dos seus serviços de back-end com a carga adicional do novo recurso e usar o uso aproximado para garantir que a mudança seja escalonável antes do lançamento para um público mais amplo.
Os lançamentos são ferramentas excelentes para situações em que você está implementando novos recursos que alteram significativamente a funcionalidade, alterações que podem resultar em resultados imprevisíveis ou alterações que podem afetar sua infraestrutura de back-end, serviços ou APIs externas.
O Teste A/B permite apresentar várias versões de um recurso ou elemento do app, por exemplo, atualizar a aparência da interface, mudar o texto publicitário ou atualizar a dificuldade do nível do jogo. Assim, é possível mostrar variações diferentes aos usuários para saber qual opção gera melhores resultados com base na métrica escolhida, como engajamento do usuário, cliques no anúncio e receita.
Use o Teste A/B para tomar decisões, otimizar e entender as preferências dos usuários com base em dados. Ele é perfeito para situações em que você tem várias opções parecidas e metas muito específicas. Por exemplo, o Teste A/B é adequado para mudanças em que você quer ajustar seu app para melhorar uma métrica específica, como testar qual posicionamento de anúncio de banner resulta em mais cliques.
Também é uma boa ideia combinar os lançamentos da Configuração remota e o Teste A/B em uma estratégia abrangente: primeiro, crie um teste A/B com um conjunto restrito de usuários para determinar a variante que produz os resultados ideais para suas principais métricas. Em seguida, depois que o Teste A/B determinar um líder, crie um lançamento com a variante vencedora. Monitore a estabilidade e as principais métricas à medida que você aumenta o número de usuários expostos e, quando estiver confiante na performance, lance o recurso para 100%.
Entender os resultados do lançamento
Depois de publicar um lançamento, você deve começar a ver os resultados quase imediatamente.
É possível ver os resultados de várias maneiras:
- Na página Parâmetros, expanda o parâmetro configurado para o lançamento e, abaixo do lançamento, clique em Ver resultados.
- Na página Lançamentos, clique no nome do lançamento.
Com o seletor de apps na parte de cima da página de resultados, você pode selecionar visualizações para apps específicos. Os resultados são divididos em várias seções:
- A seção Resumo, que mostra a porcentagem do lançamento configurada e permite reverter ou editar o lançamento. Quando expandida, ela mostra uma Visão geral dos detalhes de configuração do lançamento e o Histórico de alterações.
A seção Usuários, que mostra o número de instalações de apps únicas que buscaram um modelo de lançamento nos seguintes grupos:
- Ativado:número de instâncias do app que correspondem à condição de lançamento de destino e buscaram o valor de lançamento.
- Controle:número de instâncias do app que correspondem à condição de lançamento de destino e buscaram o valor inalterado.
- Meta: número total estimado de instâncias que correspondem à condição definida no lançamento, que receberá o lançamento ou um valor inalterado.
Saiba mais em Entender a associação ao grupo de lançamento.
As seções Crashlytics e Analytics mostram dados de comparação para grupos ativados e de controle. É possível filtrar os dados coletados pelas Últimas 24 horas, Desde a última publicação ou Últimos 7 dias. "Últimas 24 horas" é a visualização padrão.
Resultados do Crashlytics para lançamentos
Você pode ver o número total de falhas, não fatais e ANRs que ocorreram durante o lançamento. Cada categoria de resultado mostra um gráfico de barras que compara os totais brutos de usuários Enabled e Control que atenderam à condição do lançamento.
- Falhas:mostra o número e a porcentagem de falhas, além do número de usuários únicos que tiveram falhas nos grupos "Ativado" e "Controle".
- Não fatais:mostra o número e a porcentagem de erros não fatais, o número de usuários únicos que foram afetados por erros não fatais.
- ANRs (somente apps Android): mostra o número e a porcentagem de eventos do tipo "O app não está respondendo" e o número de usuários únicos que tiveram um ou mais eventos de ANR.
Para informações mais detalhadas sobre falhas, clique em Ver mais no Crashlytics. Isso abre a página do Crashlytics com um filtro ativo para o lançamento com os resultados que você estava inspecionando. Os resultados do lançamento na página do Crashlytics medem todos os usuários que já foram expostos à respectiva variante, Ativada ou Controle. Você pode visualizar as falhas do grupo de controle, as falhas de grupo ativadas ou ambas.
Resultados do Google Analytics para lançamentos
A seção de resultados do lançamento do Google Analytics compara as métricas do Analytics de todos os usuários que já foram expostos aos grupos "Ativados" ou "Controle" em detalhes e em visualizações de gráfico. Três métricas são fornecidas:
- Receita total:mostra o valor total da receita, incluindo a receita de publicidade e de compra, em USD. É possível filtrar os resultados para mostrar apenas "Receita de publicidade" ou "Receita de compra".
- Total de conversões:mostra a contagem bruta da soma de todos os eventos de conversão. É possível filtrar os resultados pela conversão que você quer destacar.
- Tempo total de engajamento:mostra o tempo total de engajamento que os usuários passaram com uma das variantes de lançamento. O tempo total de engajamento é mostrado no formato Horas:Minutos:Segundos. Por exemplo, 01:31:28. O gráfico mostra os dados do período selecionado acima da seção do Crashlytics.