Ce guide fournit des informations sur les concepts clés liés aux Remote Config déploiements. Vous pourrez ainsi :
- comprendre le fonctionnement de l'appartenance à un groupe de déploiement ;
- savoir quand utiliser un déploiement et quand utiliser un test A/B ;
- découvrir comment interpréter les résultats d'un déploiement.
Comprendre l'appartenance à un groupe de déploiement
Lorsque vous créez un déploiement et que vous attribuez un pourcentage, Firebase place une partie de votre audience de taille égale dans un groupe de contrôle pour obtenir des résultats précis lors de la comparaison des performances de votre fonctionnalité activée. Les groupes suivants sont alors créés.
- Activé : les appareils des utilisateurs attribués à ce groupe reçoivent la valeur que vous configurez dans votre déploiement.
- Contrôle : les appareils des utilisateurs attribués à ce groupe reçoivent la valeur qu'ils auraient reçue de Remote Config, et non la valeur de déploiement.
- Non attribué : les appareils des utilisateurs de ce groupe reçoivent la valeur qu'ils auraient reçue de Remote Config, mais ne sont pas utilisés dans les résultats de comparaison du déploiement.
Autrement dit, si vous déployez une fonctionnalité auprès de 2% de vos utilisateurs, ils sont ajoutés au groupe "Activé", et 2% supplémentaires sont ajoutés au groupe "Contrôle", qui est utilisé à des fins de comparaison. 96% de vos utilisateurs restent dans le groupe "Non attribué".
Cette approche garantit une comparaison équitable entre les performances des utilisateurs et des appareils qui reçoivent votre valeur de déploiement et ceux qui ne la reçoivent pas. Elle vous permet de déterminer efficacement si le déploiement a réussi ou non sur la page Résultats du déploiement.
L'attribution à un groupe de déploiement est cohérente dans toutes les phases d'un déploiement. Autrement dit, dans le même déploiement, si vous réduisez le pourcentage à 0%, tous les utilisateurs reviendront à la valeur de paramètre définie dans le Remote Config modèle. Si vous décidez ensuite d'augmenter le pourcentage de déploiement, les utilisateurs qui faisaient partie des groupes "Activé" ou "Contrôle" précédents reviendront au groupe auquel ils avaient été initialement attribués et recevront des valeurs cohérentes avec ces groupes.
Une fois que vous avez vérifié que votre version est réussie et que vous décidez de la lancer complètement auprès de 100% des utilisateurs ciblés, Firebase n'utilise plus le groupe de contrôle et tous les utilisateurs et appareils ciblés reçoivent la valeur de déploiement.
Quand utiliser un déploiement plutôt qu'un test A/B ?
Les déploiements Remote Config et les A/B Testing sont adaptés à des cas d'utilisation légèrement différents et peuvent être utilisés de manière complémentaire.
Les déploiements sont des versions progressives, souvent utilisées pour déployer une nouvelle fonctionnalité auprès d'un groupe d'utilisateurs sélectionné. Vous pouvez cibler les utilisateurs d'un pays spécifique ou ceux qui utilisent une version spécifique de votre application. Utilisez les déploiements pour atténuer les risques et tester de nouvelles fonctionnalités dans un environnement réel, avec des contrôles stricts, afin de voir comment elles fonctionnent. Vous pouvez également surveiller les performances de vos services de backend avec la charge supplémentaire de la nouvelle fonctionnalité et estimer l'utilisation pour vous assurer que votre modification est évolutive avant de la déployer auprès d'une audience plus large.
Les déploiements sont d'excellents outils dans les situations où vous implémentez de nouvelles fonctionnalités qui modifient considérablement le fonctionnement, des modifications qui peuvent entraîner des résultats imprévisibles ou des modifications qui peuvent avoir un impact sur votre infrastructure, vos services ou vos API externes de backend.
A/B Testing vous permet de présenter plusieurs versions d'une fonctionnalité ou d'un élément d'application (par exemple, en modifiant l'apparence de l'interface utilisateur, en modifiant le texte publicitaire ou en modifiant la difficulté d'un niveau de jeu). Vous pouvez ensuite exposer différentes variantes à vos utilisateurs pour déterminer quelle option génère de meilleurs résultats en fonction de la métrique choisie (par exemple, l'engagement des utilisateurs, les clics sur les annonces et les revenus).
Utilisez A/B Testing pour prendre des décisions basées sur les données, optimiser votre application et comprendre les préférences de vos utilisateurs. Ils sont parfaits dans les situations où vous disposez de plusieurs options comparables et d'objectifs très spécifiques. Par exemple, A/B Testing sont appropriés pour les modifications dans lesquelles vous souhaitez ajuster votre application afin d'améliorer une métrique spécifique, comme tester l'emplacement d'une bannière publicitaire qui génère le plus de clics.
Il est également judicieux de combiner les déploiements Remote Config et les tests A/B Testing dans une stratégie globale. Commencez par créer un test A/B avec un ensemble limité d' utilisateurs pour déterminer la variante qui produit les résultats optimaux pour vos métriques clés. Ensuite, une fois que A/B Testing a déterminé une variante gagnante, créez un déploiement avec cette variante. Surveillez sa stabilité et ses métriques clés à mesure que vous augmentez progressivement le nombre d'utilisateurs exposés. Une fois que vous êtes sûr de ses performances, déployez-la auprès de 100 % des utilisateurs.
Comprendre les résultats d'un déploiement
Une fois que vous avez publié un déploiement, vous devriez commencer à voir des résultats presque immédiatement.
Vous pouvez afficher les résultats de plusieurs façons dans la Firebase console :
Sur la page DevOps et engagement > Remote Config > Paramètres , développez le paramètre que vous avez configuré pour le déploiement, puis cliquez sur Afficher les résultats sous le déploiement.
Sur la page DevOps et engagement > Remote Config > Déploiements , cliquez sur le nom du déploiement.
Le sélecteur d'application en haut de la page DevOps et engagement > Remote Config > Résultats vous permet de sélectionner des vues pour des applications spécifiques. Les résultats sont divisés en plusieurs sections :
- La section Résumé, qui affiche le pourcentage de déploiement configuré et vous permet d'annuler ou de modifier le déploiement. Lorsqu'elle est développée, elle affiche un aperçu des détails de configuration de votre déploiement et un historique des modifications.
La section Utilisateurs, qui indique le nombre d'installations d'applications uniques ayant récupéré un modèle de déploiement dans les groupes suivants :
- Activé : nombre d'instances d'application qui correspondent à la condition de déploiement cible et qui ont récupéré la valeur de déploiement.
- Contrôle : nombre d'instances d'application qui correspondent à la condition de déploiement cible et qui ont récupéré la valeur inchangée.
- Cible : nombre total estimé d'instances qui correspondent à la condition que vous avez définie dans votre déploiement, et qui devraient recevoir la valeur de déploiement ou une valeur inchangée.
Pour en savoir plus, consultez Comprendre l'appartenance à un groupe de déploiement.
Les sections Crashlytics et Analytics, qui affichent des données de comparaison pour les groupes "Activé" et "Contrôle". Vous pouvez filtrer les données collectées pour les 24 dernières heures, Depuis la dernière publication ou les 7 derniers jours. La vue par défaut est "24 dernières heures".
Crashlytics résultats pour les déploiements
Vous pouvez voir le nombre total de plantages, erreurs non fatales et ANR survenus lors de votre déploiement. Chaque catégorie de résultats affiche un graphique à barres qui compare les totaux bruts des utilisateurs activés et contrôlés qui ont rempli la condition du déploiement.
- Plantages : affiche le nombre et le pourcentage de plantages, ainsi que le nombre d'utilisateurs uniques ayant subi des plantages pour les groupes "Activé" et "Contrôle".
- Erreurs non fatales : affiche le nombre et le pourcentage d'erreurs non fatales, ainsi que le nombre d'utilisateurs uniques ayant subi des erreurs non fatales.
- ANR (applications Android uniquement) : affiche le nombre et le pourcentage d'événements "L'application ne répond pas", ainsi que le nombre d'utilisateurs uniques ayant subi un ou plusieurs événements ANR.
Pour obtenir des informations plus détaillées sur les plantages, vous pouvez cliquer sur Afficher plus dans Crashlytics. La page Crashlytics s'ouvre avec un filtre actif pour le déploiement dont vous inspectiez les résultats. Les résultats du déploiement sur la Crashlytics page mesurent tous les utilisateurs qui ont déjà été exposés à la variante respective, Activé ou Contrôle. Vous pouvez choisir d'afficher les plantages du groupe "Contrôle", ceux du groupe "Activé" ou les deux.
Google Analytics résultats pour les déploiements
La section des résultats de déploiement Google Analytics compare les métriques Analytics pour tous les utilisateurs qui ont déjà été exposés aux groupes "Activé" ou "Contrôle" en détail et dans des vues graphiques. Trois métriques sont fournies :
- Revenu total : affiche le montant total des revenus, y compris les revenus publicitaires et les revenus d'achat, en dollars américains. Vous pouvez filtrer vos résultats pour n'afficher que les revenus publicitaires ou les revenus d'achat.
- Nombre total de conversions : affiche le nombre brut de la somme de tous les événements de conversion. Vous pouvez filtrer vos résultats par la conversion que vous souhaitez mettre en évidence.
- Durée d'engagement totale : affiche la durée d'engagement totale que vos utilisateurs ont passée avec l'une des variantes de déploiement. La durée d'engagement totale s'affiche au format Heures:Minutes:Secondes. Par exemple, 01:31:28. Le graphique affiche les données de la période que vous avez sélectionnée au-dessus de la section Crashlytics.