Ce guide fournit des informations sur les concepts clés liés aux déploiements Remote Config afin que vous puissiez:
- Découvrez comment fonctionne l'appartenance aux groupes lors du déploiement.
- Découvrez quand utiliser un déploiement et quand utiliser un test A/B.
- Découvrez comment interpréter les résultats du déploiement.
Comprendre l'appartenance au groupe de déploiement
Lorsque vous créez un déploiement et attribuez un pourcentage, Firebase place une partie de votre audience de taille égale dans un groupe de contrôle pour obtenir des résultats précis lorsque vous comparez les performances de votre fonctionnalité activée. Les groupes suivants sont ainsi créés.
- Activé: les appareils des utilisateurs attribués à ce groupe reçoivent la valeur que vous configurez lors du déploiement.
- Contrôle: les appareils utilisateur attribués à ce groupe reçoivent la valeur qu'ils auraient reçue de Remote Config, et non la valeur de déploiement.
- Non attribué:les appareils des utilisateurs de ce groupe reçoivent la valeur qu'ils auraient reçue de Remote Config, mais ne sont pas utilisés dans les résultats de comparaison du déploiement.
Autrement dit, si vous déployez la fonctionnalité auprès de 2% de vos utilisateurs, ils sont ajoutés au groupe "Activé" et 2% supplémentaires sont ajoutés au groupe de contrôle, qui est utilisé à des fins de comparaison. 96% de vos utilisateurs restent non attribués.
Cette approche garantit une comparaison équitable entre les performances des utilisateurs et des appareils qui reçoivent votre valeur de déploiement et ceux qui ne le font pas, et vous permet de déterminer efficacement si le déploiement a réussi ou non sur la page Résultats du déploiement.
L'attribution de groupes de déploiement est cohérente pour toutes les phases d'un déploiement. Autrement dit, dans le même déploiement, si vous réduisez le pourcentage à 0%, tous les utilisateurs recevront à nouveau la valeur de paramètre définie dans le modèle Remote Config. Si vous décidez ultérieurement d'augmenter le pourcentage de déploiement, les utilisateurs qui faisaient partie des groupes "Activé" ou "Contrôle" précédents reviendront au groupe auquel ils étaient initialement affectés et recevront des valeurs cohérentes avec ces groupes.
Une fois que vous avez vérifié que votre version a bien été déployée et que vous décidez de la déployer complètement auprès de 100% des utilisateurs ciblés, Firebase n'utilise plus le groupe de contrôle et tous les utilisateurs et appareils ciblés reçoivent la valeur de déploiement.
Quand utiliser un déploiement plutôt qu'un test A/B ?
Les déploiements Remote Config et A/B Testing sont adaptés à des cas d'utilisation légèrement différents et peuvent être utilisés de manière complémentaire.
Les déploiements sont des versions progressives, souvent utilisées pour déployer une nouvelle fonctionnalité auprès d'un groupe d'utilisateurs sélectionné. Vous pouvez cibler des utilisateurs dans un pays spécifique ou utilisant une version spécifique de votre application. Utilisez les déploiements pour atténuer les risques, tester de nouvelles fonctionnalités dans un environnement réel, avec des contrôles stricts, afin de voir comment elles fonctionnent. Vous pouvez également surveiller les performances de vos services backend avec la charge supplémentaire de la nouvelle fonctionnalité et estimer l'utilisation pour vous assurer que votre modification est évolutive avant de la publier auprès d'un public plus large.
Les déploiements sont d'excellents outils lorsque vous implémentez de nouvelles fonctionnalités qui modifient considérablement le fonctionnement, des modifications qui peuvent entraîner des résultats imprévisibles ou des modifications susceptibles d'affecter votre infrastructure backend, vos services ou vos API externes.
A/B Testing vous permet de présenter plusieurs versions d'une fonctionnalité ou d'un élément d'application, par exemple en modifiant l'apparence de l'UI, en changeant le texte publicitaire ou en modifiant la difficulté du niveau du jeu. Vous pouvez ensuite présenter différentes variantes à vos utilisateurs pour déterminer quelle option génère les meilleurs résultats en fonction de la métrique choisie (engagement utilisateur, clics sur les annonces et revenus, par exemple).
Utilisez A/B Testing pour la prise de décision, l'optimisation et la compréhension des préférences de vos utilisateurs, basées sur les données. Il est idéal lorsque vous disposez de plusieurs options comparables et d'objectifs très spécifiques. Par exemple, A/B Testing est approprié pour les modifications que vous souhaitez apporter à votre application afin d'améliorer une métrique spécifique, comme tester l'emplacement des bannières publicitaires qui génère le plus de clics.
Il est également judicieux de combiner les déploiements Remote Config et A/B Testing dans une stratégie globale: commencez par créer un test A/B avec un ensemble limité d'utilisateurs pour déterminer la variante qui produit les résultats optimaux pour vos métriques clés. Ensuite, une fois que A/B Testing a déterminé un leader, créez un déploiement avec la variante gagnante. Surveillez sa stabilité et ses métriques clés à mesure que vous augmentez progressivement le nombre d'utilisateurs exposés. Une fois que vous êtes sûr de ses performances, déployez-la à 100%.
Comprendre les résultats du déploiement
Une fois la diffusion lancée, vous devriez commencer à voir des résultats presque immédiatement.
Vous pouvez afficher les résultats de différentes manières:
- Sur la page Paramètres, développez le paramètre que vous avez configuré pour le déploiement, puis sous le déploiement, cliquez sur Afficher les résultats.
- Sur la page Déploiements, cliquez sur le nom du déploiement.
Le sélecteur d'applications en haut de la page "Résultats" vous permet de sélectionner des vues pour des applications spécifiques. Les résultats sont divisés en plusieurs sections:
- La section Récapitulatif, qui affiche le pourcentage de déploiement configuré et permet de revenir en arrière ou de modifier le déploiement. Lorsqu'il est développé, il affiche une présentation des détails de configuration de votre déploiement et un historique des modifications.
La section Utilisateurs, qui indique le nombre d'installations d'applications uniques ayant extrait un modèle de déploiement dans les groupes suivants:
- Activé:nombre d'instances d'application correspondant à la condition de déploiement cible et ayant extrait la valeur de déploiement.
- Contrôle:nombre d'instances d'application correspondant à la condition de déploiement cible et ayant extrait la valeur inchangée.
- Cible: nombre total estimé d'instances correspondant à la condition que vous avez définie dans votre déploiement, qui doit recevoir le déploiement ou une valeur inchangée.
Pour en savoir plus, consultez Comprendre l'appartenance aux groupes de déploiement.
Les sections Crashlytics et Analytics, qui affichent des données de comparaison pour les groupes "Activé" et "Contrôle". Vous pouvez filtrer les données collectées pour les dernières 24 heures, depuis la dernière publication ou les 7 derniers jours. "Dernières 24 heures" est la vue par défaut.
Crashlytics résultats pour les déploiements
Vous pouvez consulter le nombre total de plantages, d'erreurs non fatales et d'erreurs ANR qui se sont produites lors de votre déploiement. Chaque catégorie de résultats affiche un graphique à barres qui compare les totaux bruts des utilisateurs Activés et Contrôle qui ont rempli la condition de déploiement.
- Plantages:indique le nombre et le pourcentage de plantages, ainsi que le nombre d'utilisateurs uniques ayant subi des plantages pour les groupes "Activé" et "Contrôle".
- Erreurs non fatales:indique le nombre et le pourcentage d'erreurs non fatales, ainsi que le nombre d'utilisateurs uniques ayant rencontré des erreurs non fatales.
- Erreurs ANR (applications Android uniquement) : indique le nombre et le pourcentage d'événements "Application ne répond pas", ainsi que le nombre d'utilisateurs uniques ayant subi un ou plusieurs événements ANR.
Pour en savoir plus sur les plantages, vous pouvez cliquer sur Afficher plus dans Crashlytics. La page Crashlytics s'ouvre avec un filtre actif pour le déploiement dont vous inspectiez les résultats. Les résultats du déploiement sur la page Crashlytics mesurent tous les utilisateurs qui ont jamais été exposés à la variante correspondante, Activé ou Contrôle. Vous pouvez choisir d'afficher les plantages du groupe de contrôle, les plantages du groupe activé ou les deux.
Google Analytics résultats pour les déploiements
La section "Résultats du déploiement de Google Analytics" compare les métriques Analytics pour tous les utilisateurs qui ont déjà été exposés aux groupes "Activé" ou "Contrôle", en détail et dans des vues graphiques. Trois métriques sont fournies:
- Revenu total:indique le montant total des revenus, y compris les revenus publicitaires et les revenus issus des achats, en USD. Vous pouvez filtrer vos résultats pour afficher uniquement les revenus publicitaires ou les revenus issus des achats.
- Nombre total de conversions:indique le nombre brut de la somme de tous les événements de conversion. Vous pouvez filtrer les résultats en fonction de la conversion que vous souhaitez mettre en avant.
- Durée totale d'engagement:indique la durée totale d'engagement de vos utilisateurs avec l'une des variantes de déploiement. La durée totale d'engagement s'affiche au format Heures:Minutes:Secondes. Par exemple, 01:31:28. Le graphique affiche les données de la période que vous avez sélectionnée au-dessus de la section Crashlytics.