Lorsque vous utilisez Firebase Remote Config pour déployer des paramètres pour une application avec une base d'utilisateurs active, vous devez vous assurer que tout est correct. Vous pouvez utiliser les tests A/B Testing pour déterminer au mieux les éléments suivants :
- La meilleure façon d'implémenter une fonctionnalité pour optimiser l'expérience utilisateur. Trop souvent, les développeurs d'applications ne se rendent compte que les utilisateurs n'apprécient pas une nouvelle fonctionnalité ou une expérience utilisateur mise à jour que lorsque la note de leur application dans le magasin d'applications baisse. A/B Testing peut vous aider à déterminer si vos utilisateurs apprécient les nouvelles variantes de fonctionnalités ou s'ils préfèrent l'application telle qu'elle existe. De plus, en conservant la plupart de vos utilisateurs dans un groupe de référence, vous vous assurez que la majorité de votre base d'utilisateurs peut continuer à utiliser votre application sans subir de modifications de son comportement ou de son apparence jusqu'à la fin du test.
- La meilleure façon d'optimiser l'expérience utilisateur pour un objectif commercial Parfois, vous apportez des modifications à un produit pour maximiser une métrique telle que les revenus ou la fidélisation. Avec A/B Testing, vous définissez votre objectif d'entreprise, et Firebase effectue l'analyse statistique pour déterminer si une variante est plus performante que la référence pour l'objectif sélectionné.
Pour effectuer un test A/B sur des variantes de caractéristiques avec une référence, procédez comme suit :
- Créez votre test.
- Gérer votre test.
Créer un test
Un test Remote Config vous permet d'évaluer plusieurs variantes sur un ou plusieurs paramètres Remote Config.
Vérifiez que Google Analytics est activé dans votre projet afin que le test ait accès aux données Analytics.
Si vous n'avez pas activé Google Analytics lors de la création de votre projet, vous pouvez l'activer dans l'onglet
Paramètres > Intégrations de la console Firebase.Dans la console Firebase, accédez à DevOps et engagement > A/B Testing.
Cliquez sur Créer un test, puis sélectionnez Remote Config lorsque vous êtes invité à choisir le service que vous souhaitez tester.
Dans la section Variantes, choisissez une référence et au moins une variante pour le test. Vous pouvez ajouter un ou plusieurs paramètres à tester. Vous pouvez répéter cette étape pour ajouter plusieurs paramètres à votre test.
(Facultatif) Pour ajouter plusieurs variantes à votre test, cliquez sur Ajouter une autre variante.
Modifiez un ou plusieurs paramètres pour des variantes spécifiques. Les paramètres inchangés sont les mêmes pour les utilisateurs non inclus dans le test.
Développez Pondération des variantes pour afficher ou modifier la pondération des variantes du test. Par défaut, chaque variante est pondérée de la même manière. Notez qu'une pondération inégale peut augmenter la durée de collecte des données. Par ailleurs, vous ne pourrez plus modifier la pondération une fois que le test aura commencé.
Définissez les critères de ciblage de votre test à l'aide des conditions Remote Config :
Réutiliser une condition existante : si une condition existante de votre modèle Remote Config correspond déjà à votre audience cible, sélectionnez-la dans la liste.
Vérifiez l'ordre d'évaluation des conditions : assurez-vous que vos conditions sur la page Conditions sont organisées dans le bon ordre de priorité. Étant donné que Remote Config évalue les conditions de manière séquentielle de haut en bas, d'autres conditions de priorité plus élevée peuvent empêcher un nombre suffisant d'utilisateurs d'atteindre la condition associée à votre test.
Créer une condition : si aucune condition existante ne répond à vos exigences de ciblage, ou si vous préférez dupliquer une condition existante (par exemple, pour éviter de verrouiller une condition partagée par d'autres paramètres), créez une condition en choisissant d'abord l'application qui utilise votre test. Si le paramètre que vous testez utilise également la condition existante (ou une autre condition qui se chevauche), assurez-vous que la nouvelle condition de test est placée au-dessus de la condition existante dans l'onglet Conditions (ce qui lui donne une priorité d'évaluation plus élevée). Sinon, les utilisateurs correspondront d'abord à la condition existante et ne seront pas inclus dans le test.
Vous pouvez ensuite cibler un sous-ensemble spécifique d'utilisateurs en cliquant sur et, puis en sélectionnant une ou plusieurs options dans la liste suivante :
- Version : une ou plusieurs versions de votre application
- Numéro de build : numéro de build (Apple) ou code de version (Android) de votre application
- Plate-forme : une ou plusieurs plates-formes (iOS, Android ou Web) à cibler
- Système d'exploitation : ciblez les utilisateurs d'applications Web en fonction de leur système d'exploitation et de leur version.
- Navigateur : ciblez les utilisateurs d'applications Web en fonction de leur navigateur Web et de sa version.
- Catégorie d'appareil : ciblez les utilisateurs d'applications Web selon qu'ils utilisent un appareil mobile ou non.
- Langues : une ou plusieurs langues et paramètres régionaux utilisés pour sélectionner les utilisateurs susceptibles d'être inclus dans le test.
- Pays/Région : un ou plusieurs pays ou régions pour sélectionner les utilisateurs à inclure dans le test.
- Audience utilisateur : audiences Analytics utilisées pour cibler les utilisateurs susceptibles d'être inclus dans le test
- Propriété utilisateur : une ou plusieurs propriétés utilisateur Analytics pour sélectionner les utilisateurs susceptibles d'être inclus dans le test.
- Utilisateur d'un pourcentage aléatoire : ciblez un pourcentage d'utilisateurs sélectionnés de manière aléatoire dans une plage de centiles définie.
- Segment importé : ciblez les utilisateurs qui appartiennent à des segments importés personnalisés ajoutés à votre projet.
- Date/Heure : ciblez les utilisateurs en fonction d'une période et d'une date spécifiques.
- Première ouverture : ciblez les utilisateurs en fonction de la première fois qu'ils ont ouvert votre application.
- ID d'installation : ciblez des appareils de test ou des instances client spécifiques à l'aide de leurs ID d'installation Firebase (FID).
- L'utilisateur existe : ciblez tous les utilisateurs de toutes les applications du projet.
- Signal personnalisé : ciblez les utilisateurs en fonction de signaux clé-valeur personnalisés côté client transmis au moment de l'exécution.
Définissez l'exposition : saisissez le pourcentage de la base d'utilisateurs de votre application correspondant aux critères définis sous Ciblage que vous souhaitez répartir de manière uniforme entre la référence et une ou plusieurs variantes de votre test. Il peut s'agir de n'importe quel pourcentage compris entre 0 % et 100 %. Les utilisateurs sont attribués de manière aléatoire à chaque test, y compris aux tests dupliqués.
Vous pouvez éventuellement définir un événement d'activation pour vous assurer que seules les données des utilisateurs ayant d'abord déclenché un événement Analytics sont comptabilisées dans votre test. Notez que tous les utilisateurs correspondant à vos paramètres de ciblage recevront des valeurs expérimentales Remote Config, mais que seuls ceux qui déclenchent un événement d'activation seront inclus dans les résultats de votre test.
Pour garantir la validité du test, assurez-vous que l'événement que vous choisissez se produit après que votre application a activé les valeurs de configuration récupérées. De plus, les événements suivants ne peuvent pas être utilisés, car ils se produisent toujours avant l'activation des valeurs récupérées :
app_installapp_removeapp_update
L'événement Analytics que vous sélectionnez comme événement d'activation ne doit pas être utilisé comme métrique principale (ou comme métrique supplémentaire) dans le même test. Cela déclenchera une erreur de validation dans la console Firebase et empêchera le lancement de votre test.
Pour les objectifs du test, sélectionnez la métrique principale à suivre, puis ajoutez les métriques supplémentaires que vous souhaitez suivre dans la liste. Il s'agit notamment des objectifs intégrés (achats, revenus, fidélisation, utilisateurs sans plantage, etc.), des événements de conversion Analytics et d'autres événements Analytics. Lorsque vous avez terminé, cliquez sur Suivant.
Cliquez sur Enregistrer pour enregistrer votre test. Vous devez publier le modèle pour commencer à exécuter votre test.
Vous pouvez effectuer jusqu'à 300 tests par projet (y compris les déploiements), dont 24 tests et déploiements en cours, les autres étant des tests terminés.
Gérer votre test
Lorsque vous créez un test avec Remote Config, vous pouvez le lancer, le surveiller pendant son exécution et augmenter le nombre d'utilisateurs inclus dans le test en cours.
Une fois le test terminé, vous pouvez noter les paramètres utilisés par la variante gagnante, puis les déployer pour tous les utilisateurs. Vous pouvez également effectuer un autre test.
Modifier un test
- Dans la section DevOps et engagement du menu de navigation de la consoleFirebase, cliquez sur Remote Config.
- Cliquez sur l'onglet Tests A/B.
- Cliquez sur En cours, puis sur le test que vous souhaitez modifier.
- Cliquez sur le menu contextuel (), puis sur Modifier le test en cours.
- Pour vérifier que votre application compte des utilisateurs qui seraient inclus dans votre test, développez les détails et vérifiez qu'un nombre supérieur à 0 % est indiqué dans la section Ciblage et distribution (par exemple, 1 % des utilisateurs correspondant aux critères).
Surveiller un test
Une fois qu'un test est en cours depuis un certain temps, vous pouvez vérifier sa progression et voir les résultats obtenus pour les utilisateurs qui y ont participé jusqu'à présent.
- Dans la section DevOps et engagement du menu de navigation de la consoleFirebase, cliquez sur Remote Config.
- Cliquez sur l'onglet Tests A/B.
Cliquez sur En cours ou Terminé, puis cliquez sur le titre de votre test ou recherchez-le. Sur cette page, vous pouvez consulter différentes statistiques observées et modélisées concernant votre test, y compris les suivantes :
- Différence en % par rapport à la référence : mesure de l'amélioration d'une métrique pour une variante donnée par rapport à la référence. Calculé en comparant la plage de valeurs de la variante à celle de la référence.
- Probabilité de surpasser la référence : probabilité estimée qu'une variante donnée surpasse la référence pour la métrique sélectionnée.
- observed_metric par utilisateur : d'après les résultats du test, il s'agit de la plage prévue dans laquelle la valeur de la métrique se situera au fil du temps.
- Total observed_metric : valeur cumulée observée pour la référence ou la variante. Cette valeur permet de mesurer les performances de chaque variante de test et de calculer l'amélioration, la plage de valeurs, la probabilité de surpasser la référence et la probabilité d'être la meilleure variante. Selon la métrique mesurée, cette colonne peut être intitulée "Durée par utilisateur", "Revenus par utilisateur", "Taux de rétention" ou "Taux de conversion".
Une fois que votre test a été exécuté pendant un certain temps (14 jours pour Remote Config), les données de cette page indiquent quelle variante est la plus efficace, le cas échéant. Certaines mesures sont accompagnées d'un graphique à barres qui présente les données dans un format visuel.
Déployer un test auprès de tous les utilisateurs
Une fois qu'un test a été exécuté suffisamment longtemps pour que vous disposiez d'une variante "optimale" (gagnante) pour votre métrique d'objectif, vous pouvez déployer le test auprès de la totalité des utilisateurs. Cela vous permet de sélectionner une variante qui sera désormais présentée à tous les utilisateurs. Même si votre test n'a pas permis de déterminer clairement un gagnant, vous pouvez tout de même déployer une variante auprès de tous vos utilisateurs.
- Dans la section DevOps et engagement du menu de navigation de la consoleFirebase, cliquez sur Remote Config.
- Cliquez sur l'onglet Tests A/B.
- Cliquez sur Terminé ou En cours, puis sur le test que vous souhaitez déployer auprès de tous les utilisateurs. Cliquez ensuite sur le menu contextuel () Déployer la variante.
- Déployez votre test auprès de tous les utilisateurs en procédant comme suit :
- Pour un test Remote Config, sélectionnez une variante pour déterminer les valeurs de paramètre Remote Config à mettre à jour. Les critères de ciblage définis lorsque vous avez créé le test sont ajoutés en tant que nouvelle condition dans votre modèle afin que seuls les utilisateurs ciblés par le test soient concernés par le déploiement. Après avoir cliqué sur Vérifier dans Remote Config pour examiner les modifications, cliquez sur Publier les modifications pour terminer le déploiement.
Développer un test
Si vous constatez qu'un test n'attire pas suffisamment d'utilisateurs pour que A/B Testing puisse déclarer un gagnant, vous pouvez augmenter la distribution de votre test pour toucher un pourcentage plus élevé de la base d'utilisateurs de l'application.
- Dans la section DevOps et engagement du menu de navigation de la console Firebase, cliquez sur Remote Config.
- Cliquez sur l'onglet Tests A/B.
- Sélectionnez le test en cours que vous souhaitez modifier.
- Dans la vue d'ensemble du test, cliquez sur le menu contextuel (), puis sur Modifier le test en cours.
- La section Ciblage de la barre latérale affiche une option permettant d'augmenter le pourcentage d'utilisateurs participant au test en cours. Sélectionnez un nombre supérieur au pourcentage actuel, puis cliquez sur Publier. Le test sera déployé auprès du pourcentage d'utilisateurs que vous avez spécifié.
Dupliquer un test
- Dans la section DevOps et engagement du menu de navigation de la console Firebase, cliquez sur Remote Config.
- Cliquez sur l'onglet Tests A/B.
- Sélectionnez le test en cours ou terminé que vous souhaitez arrêter.
- Cliquez sur Terminé ou En cours, pointez sur votre test, cliquez sur le menu contextuel (), puis sur Dupliquer le test ou Arrêter le test.
Arrêter un test
- Dans la section DevOps et engagement du menu de navigation de la console Firebase, cliquez sur Remote Config.
- Cliquez sur l'onglet Tests A/B.
- Sélectionnez le test en cours ou terminé que vous souhaitez arrêter.
- Cliquez sur Terminé ou En cours d'exécution, pointez sur votre test, cliquez sur le menu contextuel (), puis sur Arrêter le test.
Identification du client Web et persistance des tests
Lorsqu'un utilisateur lance une application Web à l'aide de Firebase A/B Testing dans un navigateur pour la première fois, un ID d'installation Firebase (FID) unique est généré. Ce FID est stocké de manière persistante dans l'IndexedDB du navigateur pour identifier l'instance de l'application d'une session à l'autre.
Firebase A/B Testing utilise le FID pour attribuer des utilisateurs aux variantes de test, et Google Analytics l'utilise pour l'agrégation d'événements afin de mesurer et d'analyser le comportement des utilisateurs dans chaque variante.
Étant donné que le FID est stocké dans IndexedDB, Firebase A/B Testing traite un utilisateur comme un nouvel utilisateur s'il accède à votre application depuis un autre navigateur ou dans une fenêtre de navigation privée, ou s'il efface l'IndexedDB de son navigateur. Cela signifie qu'un utilisateur peut être inclus dans différentes variantes de test lorsqu'il utilise différents navigateurs ou sessions de navigation.
Ciblage des utilisateurs
Vous pouvez cibler les utilisateurs à inclure dans votre test à l'aide des critères de ciblage d'utilisateurs suivants.
Les types de règles suivants sont acceptés dans la console Firebase. Des fonctionnalités équivalentes sont disponibles dans l'API REST Remote Config, comme indiqué dans la documentation de référence sur les expressions conditionnelles.
| Type de règle | Opérateur(s) | Valeur(s) | Remarque |
| Application | == | Sélectionnez un ID d'application dans la liste des applications associées à votre projet Firebase. | Lorsque vous ajoutez une application à Firebase, vous saisissez un ID de bundle ou un nom de package Android qui définit un attribut exposé en tant qu'ID d'application dans les règles Remote Config.
Utilisez cet attribut comme suit :
|
| Version de l'application |
Pour les valeurs de chaîne : correspond exactement, contient, ne contient pas, contient l'expression régulière Pour les valeurs numériques : <, <=, =, !=, >, >= |
Spécifiez la ou les versions de votre application à cibler. Avant d'utiliser cette règle, vous devez utiliser une règle ID d'application pour sélectionner une application Android/Apple associée à votre projet Firebase. |
Pour les plates-formes Apple : utilisez le CFBundleShortVersionString de l'application. Remarque : Assurez-vous que votre application Apple utilise la version 6.24.0 ou ultérieure du SDK Firebase pour les plates-formes Apple, car CFBundleShortVersionString n'est pas envoyé dans les versions antérieures (voir les notes de version). Pour Android : utilisez le versionName de l'application. Remarque : Les opérateurs de comparaison numérique ( Les comparaisons de chaînes pour cette règle sont sensibles à la casse. Lorsque vous utilisez l'opérateur correspond exactement à, contient, ne contient pas ou contient l'expression régulière, vous pouvez sélectionner plusieurs valeurs. Lorsque vous utilisez l'opérateur contient l'expression régulière, vous pouvez créer des expressions régulières au format RE2. Votre expression régulière peut correspondre à tout ou partie de la chaîne de version cible. Vous pouvez également utiliser les ancres ^ et $ pour faire correspondre le début, la fin ou l'intégralité d'une chaîne cible. |
| Numéro de build |
Pour les valeurs de chaîne : correspond exactement, contient, ne contient pas, expression régulière Pour les valeurs numériques : =, ≠, >, ≥, <, ≤ |
Spécifiez les builds de votre application à cibler. Avant d'utiliser cette règle, vous devez utiliser une règle ID d'application pour sélectionner une application Apple ou une application Android associée à votre projet Firebase. |
Cet opérateur n'est disponible que pour les applications Apple et Android. Il correspond à la valeur CFBundleVersion de l'application pour Apple et à la valeur versionCode pour Android. Les comparaisons de chaînes pour cette règle sont sensibles à la casse. Lorsque vous utilisez l'opérateur correspond exactement à, contient, ne contient pas ou contient l'expression régulière, vous pouvez sélectionner plusieurs valeurs. Lorsque vous utilisez l'opérateur contient l'expression régulière, vous pouvez créer des expressions régulières au format RE2. Votre expression régulière peut correspondre à tout ou partie de la chaîne de la version cible. Vous pouvez également utiliser les ancres ^ et $ pour faire correspondre le début, la fin ou l'intégralité d'une chaîne cible. |
| Plate-forme | == | iOS Android Web |
|
| Système d'exploitation | == |
Spécifiez le ou les systèmes d'exploitation à cibler. Avant d'utiliser cette règle, vous devez utiliser une règle ID d'application pour sélectionner une application Web associée à votre projet Firebase. |
Cette règle renvoie true pour une instance d'application Web donnée si le système d'exploitation et sa version correspondent à une valeur cible de la liste spécifiée.
|
| Navigateur | == |
Spécifiez le ou les navigateurs à cibler. Avant d'utiliser cette règle, vous devez utiliser une règle ID d'application pour sélectionner une application Web associée à votre projet Firebase. |
Cette règle renvoie true pour une instance d'application Web donnée si le navigateur et sa version correspondent à une valeur cible de la liste spécifiée.
|
| Catégorie d'appareil | est, n'est pas | mobile | Cette règle évalue si l'appareil qui accède à votre application Web est un appareil mobile ou non (ordinateur ou console). Ce type de règle n'est disponible que pour les applications Web. |
| Langues | est dans | Sélectionnez une ou plusieurs langues. | Cette règle est évaluée à true pour une instance d'application donnée si cette instance est installée sur un appareil qui utilise l'une des langues listées.
|
| Pays/Région | est dans | Sélectionnez une ou plusieurs régions ou un ou plusieurs pays. | Cette règle renvoie true pour une instance d'application donnée si l'instance se trouve dans l'un des pays ou l'une des régions listés. Le code pays de l'appareil est déterminé à l'aide de l'adresse IP de l'appareil dans la requête ou du code pays déterminé par Firebase Analytics (si les données Analytics sont partagées avec Firebase).
|
| Audiences d'utilisateurs | Inclut au moins un des éléments | Sélectionnez une ou plusieurs audiences dans une liste d'audiences Google Analytics que vous avez configurées pour votre projet. | Cette règle nécessite une règle d'ID d'application pour sélectionner une application associée à votre projet Firebase.
Remarque : Étant donné que de nombreuses audiences Analytics sont définies par des événements ou des propriétés utilisateur, qui peuvent être basés sur les actions des utilisateurs de l'application, il peut s'écouler un certain temps avant qu'une règle Utilisateur dans l'audience ne prenne effet pour une instance d'application donnée. Cela signifie que même si un utilisateur remplit techniquement les conditions d'une audience, si Analytics n'a pas encore ajouté l'utilisateur à l'audience lors de l'exécution de |
| Propriété utilisateur |
Pour les valeurs de chaîne :
contient, ne contient pas, correspond exactement, contient une expression régulière Pour les valeurs numériques : =, ≠, >, ≥, <, ≤ Remarque : Sur le client, vous ne pouvez définir que des valeurs de chaîne pour les propriétés utilisateur. Pour les conditions qui utilisent des opérateurs numériques, Remote Config convertit la valeur de la propriété utilisateur correspondante en entier/flottant. |
Sélectionnez une propriété utilisateur Google Analytics dans la liste des propriétés disponibles. | Pour savoir comment utiliser les propriétés utilisateur afin de personnaliser votre application pour des segments très spécifiques de votre base d'utilisateurs, consultez Remote Config et propriétés utilisateur.
Pour en savoir plus sur les propriétés utilisateur, consultez les guides suivants : Lorsque vous utilisez l'opérateur correspond exactement à, contient, ne contient pas ou contient l'expression régulière, vous pouvez sélectionner plusieurs valeurs. Lorsque vous utilisez l'opérateur contient l'expression régulière, vous pouvez créer des expressions régulières au format RE2. Votre expression régulière peut correspondre à tout ou partie de la chaîne de la version cible. Vous pouvez également utiliser les ancres ^ et $ pour faire correspondre le début, la fin ou l'intégralité d'une chaîne cible. Remarque : Les propriétés utilisateur collectées automatiquement ne sont pas disponibles lorsque vous créez des conditions Remote Config. |
| Utilisateur d'un pourcentage aléatoire | Slider (dans la console Firebase). L'API REST utilise les opérateurs <=, > et between.
|
0–100 |
Utilisez ce champ pour appliquer une modification à un échantillon aléatoire d'instances d'application (avec des tailles d'échantillon pouvant être de seulement 0,0001 %), à l'aide du curseur pour segmenter les utilisateurs (instances d'application) mélangés de manière aléatoire en groupes. Chaque instance d'application est mappée de manière persistante à un nombre entier ou fractionnaire aléatoire, selon une valeur de départ définie dans ce projet. Une règle utilise la clé par défaut (affichée sous la forme Modifier la valeur de départ dans la console Firebase), sauf si vous modifiez la valeur de départ. Vous pouvez rétablir l'utilisation de la clé par défaut pour une règle en effaçant le champ Valeur de départ. Pour cibler de manière cohérente les mêmes instances d'application dans des plages de pourcentages données, utilisez la même valeur de graine dans toutes les conditions. Vous pouvez également sélectionner un nouveau groupe d'instances d'application attribué de manière aléatoire pour une plage de pourcentage donnée en spécifiant une nouvelle valeur de départ. Par exemple, pour créer deux conditions associées qui s'appliquent chacune à 5 % des utilisateurs d'une application sans chevauchement, vous pouvez configurer une condition correspondant à un pourcentage compris entre 0 % et 5 %, et une autre condition correspondant à une plage comprise entre 5 % et 10 %. Pour permettre à certains utilisateurs d'apparaître de manière aléatoire dans les deux groupes, utilisez des valeurs de graine différentes pour les règles de chaque condition. |
| Segment importé | est dans | Sélectionnez un ou plusieurs segments importés. | Cette règle nécessite de configurer des segments importés personnalisés. |
| Date/Heure | Avant, après | Une date et une heure spécifiées, soit dans le fuseau horaire de l'appareil, soit dans un fuseau horaire spécifié, tel que "(GMT+11) Heure de Sydney". | Compare l'heure actuelle à l'heure de récupération de l'appareil. |
| Première ouverture | Avant, après | Ciblez les utilisateurs en fonction de la première fois qu'ils ouvrent votre application :
|
Le ciblage des utilisateurs en fonction de la première ouverture est disponible après avoir sélectionné une application Android, iOS ou Web. Nécessite les SDK suivants :
Analytics doit également avoir été activé sur le client lors de l'événement de première ouverture. |
| ID d'installation | est dans | Spécifiez un ou plusieurs ID d'installation (jusqu'à 50) à cibler. | Cette règle est évaluée à true pour une installation donnée si l'ID de cette installation figure dans la liste d'éléments séparés par une virgule.
Pour savoir comment obtenir des ID d'installation, consultez Récupérer les identifiants client. |
| L'utilisateur existe | (aucun opérateur) | Cible tous les utilisateurs de toutes les applications du projet actuel. |
Utilisez cette règle de condition pour cibler tous les utilisateurs du projet, quelle que soit l'application ou la plate-forme. |
| Signal personnalisé |
Pour les valeurs de chaîne :
contient, ne contient pas, correspond exactement, contient l'expression régulière Pour les valeurs numériques : =, ≠, >, ≥, <, ≤ Pour les valeurs de version : =, ≠, >, ≥, <, ≤ |
Les comparaisons de chaînes pour cette règle sont sensibles à la casse. Lorsque vous utilisez l'opérateur "correspond exactement à", "contient", "ne contient pas" ou "contient l'expression régulière", vous pouvez sélectionner plusieurs valeurs. Lorsque vous utilisez l'opérateur "contient l'expression régulière", vous pouvez créer des expressions régulières au format RE2. Votre expression régulière peut correspondre à tout ou partie de la chaîne de version cible. Vous pouvez également utiliser les ancres ^ et $ pour faire correspondre le début, la fin ou l'intégralité d'une chaîne cible. Les types de données suivants sont acceptés pour les environnements clients :
Chiffre représentant le ou les numéros de version à mettre en correspondance (par exemple, 2.1.0). |
Pour en savoir plus sur les conditions des signaux personnalisés et les expressions conditionnelles à utiliser, consultez Conditions des signaux personnalisés et Éléments utilisés pour créer des conditions. |
A/B Testing métriques
Lorsque vous créez votre test, vous choisissez une métrique principale ou métrique d'objectif, qui est utilisée pour déterminer la variante gagnante. Vous devez également suivre d'autres métriques pour mieux comprendre les performances de chaque variante de test et suivre les tendances importantes qui peuvent différer pour chaque variante, comme la rétention des utilisateurs, la stabilité de l'application et les revenus générés par les achats via l'application. Vous pouvez suivre jusqu'à cinq métriques non liées à un objectif dans votre test.
Par exemple, supposons que vous utilisiez Remote Config pour lancer deux flux de jeu différents dans votre application et que vous souhaitiez optimiser les achats via l'application et les revenus publicitaires, mais que vous souhaitiez également suivre la stabilité et la rétention des utilisateurs de chaque variante. Dans ce cas, vous pouvez envisager de choisir Revenus totaux estimés comme métrique d'objectif, car elle inclut les revenus des achats via l'application et les revenus publicitaires. Ensuite, pour Autres métriques à suivre, vous pouvez ajouter les éléments suivants :
- Pour suivre la rétention des utilisateurs quotidienne et hebdomadaire, ajoutez Rétention (2-3 jours) et Rétention (4-7 jours).
- Pour comparer la stabilité entre les deux flux de jeu, ajoutez Utilisateurs n'ayant pas subi de plantage.
- Pour afficher des vues plus détaillées de chaque type de revenus, ajoutez Revenus des achats et Revenus publicitaires estimés.
Les tableaux suivants expliquent comment les métriques d'objectif et d'autres métriques sont calculées.
Statistiques "Objectif"
| Métrique | Description |
|---|---|
| Utilisateurs n'ayant pas subi de plantage | Pourcentage d'utilisateurs n'ayant pas rencontré d'erreurs dans votre application détectées par le SDK Firebase Crashlytics pendant le test.
Remarque : Firebase Crashlytics n'est pas compatible avec les applications Web. |
| Revenus publicitaires estimés | Revenus publicitaires estimés. |
| Revenu total estimé | Valeur combinée des revenus issus des achats et des revenus publicitaires estimés. |
| Revenus issus des achats | Valeur combinée de tous les événements purchase et in_app_purchase.
|
| Fidélisation (1 jour) | Nombre d'utilisateurs qui reviennent chaque jour sur votre application. |
| Rétention (2-3 jours) | Nombre d'utilisateurs qui reviennent sur votre application dans un délai de deux à trois jours. |
| Rétention (4-7 jours) | Nombre d'utilisateurs qui reviennent sur votre application dans un délai de quatre à sept jours. |
| Fidélisation (8 à 14 jours) | Nombre d'utilisateurs qui reviennent sur votre application dans un délai de 8 à 14 jours. |
| Fidélisation (plus de 15 jours) | Nombre d'utilisateurs qui reviennent sur votre application au moins 15 jours après l'avoir utilisée pour la dernière fois. |
| first_open | Événement Analytics qui se déclenche lorsqu'un utilisateur ouvre une application pour la première fois après l'avoir installée ou réinstallée. Utilisé dans le cadre d'un entonnoir de conversion. |
Autres métriques
| Métrique | Description |
|---|---|
| notification_dismiss | Événement Analytics qui se déclenche lorsqu'une notification envoyée par l'outil de création de notifications est ignorée (Android uniquement). |
| notification_receive | Un événement Analytics qui se déclenche lorsqu'une notification envoyée par l'outil de création de notifications est reçue alors que l'application est exécutée en arrière-plan (Android uniquement). |
| os_update | Un événement Analytics qui suit la mise à jour du système d'exploitation de l'appareil vers une nouvelle version.Pour en savoir plus, consultez Événements collectés automatiquement.
Cette métrique n'est pas disponible pour les applications Web. |
| screen_view | Un événement Analytics qui suit les écrans consultés dans votre application. Pour en savoir plus, consultez Suivre les vues d'écran. |
| session_start | Événement Analytics qui comptabilise les sessions utilisateur dans votre application. Pour en savoir plus, consultez Événements collectés automatiquement. |
Exportation de données BigQuery
En plus d'afficher les données de test A/B Testing dans la console Firebase, vous pouvez inspecter et analyser les données de test dans BigQuery. Bien que A/B Testing ne dispose pas d'une table BigQuery distincte, les appartenances aux tests et aux variantes sont stockées sur chaque événement Google Analytics dans les tables d'événements Analytics.
Les propriétés utilisateur contenant des informations sur le test sont au format userProperty.key like "firebase_exp_%" ou userProperty.key =
"firebase_exp_01", où 01 correspond à l'ID du test et userProperty.value.string_value contient l'index (basé sur zéro) de la variante du test.
Vous pouvez utiliser ces propriétés utilisateur de test pour extraire des données de test. Vous pouvez ainsi segmenter les résultats de votre test de différentes manières et vérifier indépendamment les résultats de A/B Testing.
Pour commencer, procédez comme suit, comme décrit dans ce guide :
- Activer l'exportation BigQuery pour Google Analytics dans la console Firebase
- Accéder aux données A/B Testing à l'aide de BigQuery
- Découvrir des exemples de requêtes
Activez l'exportation BigQuery pour Google Analytics dans la console Firebase.
Si vous utilisez le forfait Spark, vous pouvez utiliser le bac à sable BigQuery pour accéder à BigQuery sans frais, sous réserve des limites du bac à sable. Pour en savoir plus, consultez Tarifs et bac à sable BigQuery.
Tout d'abord, assurez-vous d'exporter vos données Analytics vers BigQuery :
Dans la consoleFirebase, accédez à l'onglet
Paramètres > Intégrations.Sur la fiche BigQuery, cliquez sur Gérer et vérifiez que votre projet exporte les données Analytics vers BigQuery.
Si la fiche indique Associer, vous devez configurer l'exportation (passez à l'étape suivante).
Si vous devez configurer l'exportation :
Consultez À propos de l'association de Firebase à BigQuery, puis cliquez sur Suivant.
Dans la section Configurer l'intégration, activez Google Analytics.
Sélectionnez une région et choisissez les paramètres d'exportation.
Cliquez sur Associer à BigQuery.
Selon la méthode d'exportation choisie, les tables peuvent mettre jusqu'à un jour avant d'être disponibles. Pour en savoir plus sur l'exportation de données de projet vers BigQuery, consultez Exporter des données de projet vers BigQuery.
Accéder aux données A/B Testing dans BigQuery
Avant d'interroger les données d'un test spécifique, vous devez obtenir tout ou partie des éléments suivants à utiliser dans votre requête :
- ID du test : vous pouvez l'obtenir à partir de l'URL de la page Aperçu du test. Par exemple, si votre URL se présente sous la forme
https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25, l'ID du test est 25. - ID de propriété Google Analytics : il s'agit de votre ID de propriété Google Analytics à neuf chiffres. Vous pouvez le trouver dans Google Analytics. Il apparaît également dans BigQuery lorsque vous développez le nom de votre projet pour afficher le nom de votre table d'événements Google Analytics (
project_name.analytics_000000000.events). - Date du test : pour composer une requête plus rapide et plus efficace, il est recommandé de limiter vos requêtes aux partitions de la table d'événements quotidiens Google Analytics qui contiennent les données de votre test (tables identifiées par un suffixe
YYYYMMDD). Par exemple, si votre test s'est déroulé du 2 février 2026 au 2 mai 2026, vous devez spécifier_TABLE_SUFFIX between '20260202' AND '20260502'. Pour obtenir un exemple, consultez Sélectionner les valeurs d'un test spécifique. - Noms des événements : ils correspondent généralement aux métriques d'objectif que vous avez configurées dans le test. Par exemple, les événements
in_app_purchase,ad_impressionouuser_retention.
Après avoir rassemblé les informations nécessaires pour générer votre requête :
- Dans la console Google Cloud, accédez à BigQuery.
- Sélectionnez votre projet, puis Créer une requête SQL.
- Ajoutez votre requête. Pour obtenir des exemples de requêtes à exécuter, consultez Explorer des exemples de requêtes.
- Cliquez sur Exécuter.
Interroger les données de test à l'aide de la requête générée automatiquement par la console Firebase
Si vous utilisez le forfait Blaze, la page Présentation du test fournit un exemple de requête qui renvoie le nom du test, les variantes, les noms des événements et le nombre d'événements pour le test que vous consultez.
Pour obtenir et exécuter la requête générée automatiquement :
- Dans la console Firebase, accédez à DevOps et engagement > Tests A/B.
- Sélectionnez le test A/B Testing que vous souhaitez interroger pour ouvrir la page Présentation du test.
- Dans le menu d'options, sous Intégration de BigQuery, sélectionnez Interroger les données de test. Votre projet s'ouvre alors dans BigQuery dans la console Google Cloud et une requête de base vous est proposée pour interroger les données de votre test.
L'exemple suivant montre une requête générée pour un test comportant trois variantes (y compris la référence) nommé "Test de bienvenue d'hiver". Il renvoie le nom du test actif, le nom de la variante, l'événement unique et le nombre d'événements pour chaque événement. Notez que le générateur de requêtes ne spécifie pas le nom de votre projet dans le nom de la table, car il s'ouvre directement dans votre projet.
/*
This query is auto-generated by Firebase A/B Testing for your
experiment "Winter welcome experiment".
It demonstrates how you can get event counts for all Analytics
events logged by each variant of this experiment's population.
*/
SELECT
'Winter welcome experiment' AS experimentName,
CASE userProperty.value.string_value
WHEN '0' THEN 'Baseline'
WHEN '1' THEN 'Welcome message (1)'
WHEN '2' THEN 'Welcome message (2)'
END AS experimentVariant,
event_name AS eventName,
COUNT(*) AS count
FROM
`analytics_000000000.events_*`,
UNNEST(user_properties) AS userProperty
WHERE
(_TABLE_SUFFIX BETWEEN '20260202' AND '20260502')
AND userProperty.key = 'firebase_exp_25'
GROUP BY
experimentVariant, eventName
Pour obtenir d'autres exemples de requêtes, consultez Explorer des exemples de requêtes.
Découvrir des exemples de requêtes
Les sections suivantes fournissent des exemples de requêtes que vous pouvez utiliser pour extraire les données de test A/B Testing des tables d'événements Google Analytics.
Extraire les valeurs d'écart-type des achats et des tests de tous les tests
Vous pouvez utiliser les données des résultats de test pour vérifier indépendamment Firebase A/B Testing résultats. L'instruction SQL BigQuery suivante extrait les variantes de test, le nombre d'utilisateurs uniques dans chaque variante, et additionne les revenus totaux des événements in_app_purchase et ecommerce_purchase, ainsi que les écarts-types pour tous les tests au cours de la période spécifiée comme dates de début et de fin _TABLE_SUFFIX. Vous pouvez utiliser les données obtenues à partir de cette requête avec un générateur de pertinence statistique pour les tests t unilatéraux afin de vérifier que les résultats fournis par Firebase correspondent à votre propre analyse.
Pour en savoir plus sur la façon dont A/B Testing calcule l'inférence, consultez Interpréter les résultats des tests.
/*
This query returns all experiment variants, number of unique users,
the average USD spent per user, and the standard deviation for all
experiments within the date range specified for _TABLE_SUFFIX.
*/
SELECT
experimentNumber,
experimentVariant,
COUNT(*) AS unique_users,
AVG(usd_value) AS usd_value_per_user,
STDDEV(usd_value) AS std_dev
FROM
(
SELECT
userProperty.key AS experimentNumber,
userProperty.value.string_value AS experimentVariant,
user_pseudo_id,
SUM(
CASE
WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
THEN event_value_in_usd
ELSE 0
END) AS usd_value
FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
CROSS JOIN UNNEST(user_properties) AS userProperty
WHERE
userProperty.key LIKE 'firebase_exp_%'
AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
GROUP BY 1, 2, 3
)
GROUP BY 1, 2
ORDER BY 1, 2;
Sélectionner les valeurs d'un test spécifique
L'exemple de requête suivant montre comment obtenir des données pour un test spécifique dans BigQuery. Cet exemple de requête renvoie le nom du test, les noms des variantes (y compris la référence), les noms des événements et le nombre d'événements.
SELECT
'EXPERIMENT_NAME' AS experimentName,
CASE userProperty.value.string_value
WHEN '0' THEN 'Baseline'
WHEN '1' THEN 'VARIANT_1_NAME'
WHEN '2' THEN 'VARIANT_2_NAME'
END AS experimentVariant,
event_name AS eventName,
COUNT(*) AS count
FROM
`analytics_ANALYTICS_PROPERTY.events_*`,
UNNEST(user_properties) AS userProperty
WHERE
(_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
GROUP BY
experimentVariant, eventName