Ce guide fournit des informations sur les concepts clés liés aux déploiements Remote Config, afin que vous puissiez :
- Comprendre le fonctionnement de l'appartenance à un groupe de déploiement
- Savoir quand utiliser un déploiement et quand utiliser un test A/B
- Découvrez comment interpréter les résultats du déploiement.
Comprendre l'appartenance à un groupe de déploiement
Lorsque vous créez un déploiement et que vous lui attribuez un pourcentage, Firebase place une partie de votre audience de taille égale dans un groupe de contrôle afin d'obtenir des résultats précis lorsque vous comparez les performances de votre fonctionnalité activée, ce qui donne les groupes suivants.
- Activé : les appareils utilisateur attribués à ce groupe reçoivent la valeur que vous configurez dans votre déploiement.
- Contrôle : les appareils utilisateur attribués à ce groupe reçoivent la valeur qu'ils auraient reçue de Remote Config, et non la valeur de déploiement.
- Non attribué : les appareils utilisateur de ce groupe reçoivent la valeur qu'ils auraient reçue de Remote Config, mais ils ne sont pas utilisés dans les résultats de comparaison du déploiement.
Autrement dit, si vous déployez la fonctionnalité auprès de 2 % de vos utilisateurs, ils sont ajoutés au groupe "Activé", et 2 % d'utilisateurs supplémentaires sont ajoutés au groupe "Contrôle", qui sert de comparaison. 96 % de vos utilisateurs restent dans "Non attribué".
Cette approche garantit une comparaison équitable entre les performances des utilisateurs et des appareils qui reçoivent votre valeur de déploiement et ceux qui ne la reçoivent pas. Elle vous permet de déterminer efficacement la réussite ou l'échec du déploiement sur la page Résultats du déploiement.
L'attribution des groupes de déploiement est cohérente dans toutes les phases d'un déploiement. Autrement dit, au cours d'un même déploiement, si vous réduisez le pourcentage à 0 %, tous les utilisateurs recevront à nouveau la valeur de paramètre définie dans le modèle Remote Config. Si vous décidez ultérieurement d'augmenter le pourcentage de déploiement, les utilisateurs qui faisaient partie des groupes "Activés" ou "Contrôle" précédents reviendront dans le groupe auquel ils étaient initialement affectés et recevront des valeurs cohérentes avec ces groupes.
Une fois que vous avez vérifié que votre version est un succès et que vous décidez de la lancer complètement auprès de 100 % des utilisateurs ciblés, Firebase n'utilise plus le groupe de contrôle, et tous les utilisateurs et appareils ciblés reçoivent la valeur de déploiement.
Quand utiliser un déploiement plutôt qu'un test A/B ?
Les déploiements Remote Config et A/B Testing sont adaptés à des cas d'utilisation légèrement différents et peuvent être utilisés de manière complémentaire.
Les déploiements sont des lancements progressifs, souvent utilisés pour proposer une nouvelle fonctionnalité à un groupe d'utilisateurs sélectionné. Vous pouvez cibler les utilisateurs d'un pays spécifique ou d'une version spécifique de votre application. Utilisez les déploiements pour limiter les risques, tester de nouvelles fonctionnalités dans un environnement réel, avec des contrôles stricts, afin de voir comment la fonctionnalité se comporte. Vous pouvez également surveiller les performances de vos services de backend avec la charge supplémentaire de la nouvelle fonctionnalité et l'utilisation approximative pour vous assurer que votre modification est évolutive avant de la proposer à un public plus large.
Les déploiements sont d'excellents outils lorsque vous implémentez de nouvelles fonctionnalités qui modifient considérablement le fonctionnement, des modifications susceptibles d'entraîner des résultats imprévisibles ou des modifications susceptibles d'avoir un impact sur votre infrastructure de backend, vos services ou vos API externes.
A/B Testing vous permet de présenter plusieurs versions d'une fonctionnalité ou d'un élément d'application, par exemple en mettant à jour l'apparence de l'interface utilisateur, en modifiant le texte publicitaire ou en mettant à jour la difficulté d'un niveau de jeu. Vous pouvez ensuite exposer différentes variantes à vos utilisateurs pour savoir quelle option génère de meilleurs résultats en fonction de la métrique que vous avez choisie (comme l'engagement utilisateur, les clics sur les annonces et les revenus).
Utilisez A/B Testing pour prendre des décisions basées sur les données, optimiser vos campagnes et comprendre les préférences de vos utilisateurs. Il est idéal lorsque vous disposez de plusieurs options comparables et d'objectifs très spécifiques. Par exemple, A/B Testing est approprié pour les modifications où vous souhaitez ajuster votre application pour améliorer une métrique spécifique, comme tester l'emplacement de bannière publicitaire qui génère le plus de clics.
Il est également judicieux de combiner les déploiements Remote Config et A/B Testing dans une stratégie globale : commencez par créer un test A/B avec un ensemble limité d'utilisateurs pour déterminer la variante qui produit les meilleurs résultats pour vos métriques clés. Ensuite, une fois que A/B Testing a déterminé un leader, créez un déploiement avec la variante gagnante. Surveillez sa stabilité et ses métriques clés à mesure que vous augmentez progressivement le nombre d'utilisateurs exposés. Une fois que vous êtes satisfait de ses performances, déployez-la à 100 %.
Comprendre les résultats du déploiement
Une fois que vous avez publié un déploiement, vous devriez commencer à voir les résultats presque immédiatement.
Vous pouvez afficher les résultats de plusieurs façons dans la console Firebase :
Sur la page DevOps et engagement > Remote Config > Paramètres, développez le paramètre que vous avez configuré pour le déploiement, puis cliquez sur Afficher les résultats sous le déploiement.
Sur la page DevOps et engagement > Remote Config > Déploiements, cliquez sur le nom du déploiement.
Le sélecteur d'application en haut de la page DevOps et engagement > Remote Config > Résultats vous permet de sélectionner des vues pour des applications spécifiques. Les résultats sont divisés en plusieurs sections :
- La section Résumé, qui affiche le pourcentage de déploiement configuré et permet d'annuler ou de modifier le déploiement. Lorsqu'elle est développée, elle affiche un aperçu des détails de configuration de votre déploiement et l'historique des modifications.
La section Utilisateurs, qui indique le nombre d'installations d'applications uniques ayant récupéré un modèle de déploiement dans les groupes suivants :
- Activé : nombre d'instances d'application qui correspondent à la condition de déploiement cible et qui ont récupéré la valeur de déploiement.
- Contrôle : nombre d'instances d'application qui correspondent à la condition de déploiement cible et qui ont récupéré la valeur inchangée.
- Cible : nombre total estimé d'instances qui correspondent à la condition que vous avez définie dans votre déploiement, et qui doivent recevoir soit le déploiement, soit une valeur inchangée.
Pour en savoir plus, consultez Comprendre l'appartenance à un groupe de déploiement.
Les sections Crashlytics et Analytics, qui affichent les données de comparaison pour les groupes "Activé" et "Contrôle". Vous pouvez filtrer les données collectées pour les 24 dernières heures, Depuis la dernière publication ou les 7 derniers jours. "Dernières 24 heures" est la vue par défaut.
Crashlytics résultats pour les déploiements
Vous pouvez voir le nombre total de plantages, de problèmes non fatals et d'ANR survenus pendant le déploiement. Chaque catégorie de résultat affiche un graphique à barres qui compare les totaux bruts des utilisateurs Activés et Témoins qui remplissaient la condition du déploiement.
- Plantages : affiche le nombre et le pourcentage de plantages, ainsi que le nombre d'utilisateurs uniques ayant rencontré des plantages pour les groupes "Activé" et "Contrôle".
- Erreurs non fatales : indique le nombre et le pourcentage d'erreurs non fatales, ainsi que le nombre d'utilisateurs uniques ayant rencontré des erreurs non fatales.
- ANR (applications Android uniquement) : indique le nombre et le pourcentage d'événements "L'application ne répond pas", ainsi que le nombre d'utilisateurs uniques ayant rencontré un ou plusieurs événements ANR.
Pour obtenir des informations plus détaillées sur les plantages, vous pouvez cliquer sur Afficher plus dans Crashlytics. La page Crashlytics s'ouvre avec un filtre actif pour le déploiement dont vous inspectiez les résultats. Les résultats du déploiement sur la page Crashlytics mesurent tous les utilisateurs qui ont déjà été exposés à la variante respective, Activé ou Contrôle. Vous pouvez choisir d'afficher les plantages du groupe de contrôle, ceux du groupe activé ou les deux.
Google Analytics résultats pour les déploiements
La section des résultats du déploiement Google Analytics compare les métriques Analytics pour tous les utilisateurs qui ont été exposés aux groupes "Activé" ou "Contrôle" dans les vues détaillées et graphiques. Trois métriques sont fournies :
- Revenu total : indique le montant total des revenus, y compris les revenus publicitaires et les revenus issus des achats, en USD. Vous pouvez filtrer vos résultats pour afficher spécifiquement les revenus publicitaires ou les revenus d'achat.
- Nombre total de conversions : affiche le nombre brut de la somme de tous les événements de conversion. Vous pouvez filtrer les résultats en fonction de la conversion que vous souhaitez mettre en avant.
- Durée d'engagement totale : indique la durée d'engagement totale de vos utilisateurs avec l'une des variantes de déploiement. La durée d'engagement totale est affichée au format Heures:Minutes:Secondes. Par exemple, 01:31:28. Le graphique affiche les données de la période que vous avez sélectionnée au-dessus de la section Crashlytics.