Lorsque vous contactez vos utilisateurs ou lancez une nouvelle campagne marketing, vous voulez vous assurer que vous faites les choses correctement. Les tests A/B peuvent vous aider à trouver la formulation et la présentation optimales en testant les variantes de message sur des parties sélectionnées de votre base d'utilisateurs. Que votre objectif soit une meilleure rétention ou une meilleure conversion sur une offre, les tests A/B peuvent effectuer une analyse statistique pour déterminer si une variante de message surpasse la référence pour votre objectif sélectionné.
Pour tester A/B des variantes de fonctionnalités avec une référence, procédez comme suit :
- Créez votre expérience.
- Validez votre expérience sur un appareil de test.
- Gérez votre expérience.
Créer une expérience
Une expérience utilisant la messagerie Firebase In-App vous permet d'évaluer plusieurs variantes d'un même message intégré à l'application.
Connectez-vous à la console Firebase et vérifiez que Google Analytics est activé dans votre projet afin que l'expérience ait accès aux données Analytics.
Si vous n'avez pas activé Google Analytics lors de la création de votre projet, vous pouvez l'activer dans l'onglet Intégrations , auquel vous pouvez accéder en utilisant > Paramètres du projet dans la console Firebase .
Dans la section Engager du menu de navigation de la console Firebase , cliquez sur A/B Testing .
Cliquez sur Créer une expérience , puis sélectionnez Messagerie intégrée à l'application lorsque vous êtes invité à indiquer le service que vous souhaitez expérimenter.
Alternativement, dans le menu de navigation de la console Firebase , développez Engage , puis cliquez sur In-App Messaging . Cliquez ensuite sur Nouvelle expérience .
Saisissez un Nom et une Description facultative pour votre expérience, puis cliquez sur Suivant .
Remplissez les champs de ciblage , en choisissant d'abord l'application qui utilise votre test. Vous pouvez également cibler un sous-ensemble de vos utilisateurs pour qu'ils participent à votre test en choisissant les options suivantes :
- Version : une ou plusieurs versions de votre application
- Audience d'utilisateurs : audiences d'analyse utilisées pour cibler les utilisateurs susceptibles d'être inclus dans le test
- Propriété utilisateur : une ou plusieurs propriétés utilisateur Analytics pour sélectionner les utilisateurs susceptibles d'être inclus dans le test.
- Pays/Région : un ou plusieurs pays ou régions pour sélectionner les utilisateurs susceptibles d'être inclus dans le test
- Langue de l'appareil : une ou plusieurs langues et paramètres régionaux utilisés pour sélectionner les utilisateurs susceptibles d'être inclus dans l'expérience.
- Première ouverture : ciblez les utilisateurs en fonction de la première fois qu'ils ont ouvert votre application
- Dernier engagement avec l'application : ciblez les utilisateurs en fonction de la dernière fois où ils ont interagi avec votre application
Définir le pourcentage d'utilisateurs cibles : sélectionnez le pourcentage de la base d'utilisateurs de votre application correspondant aux critères définis sous Utilisateurs cibles que vous souhaitez répartir uniformément entre la ligne de base et une ou plusieurs variantes de votre test. Il peut s'agir de n'importe quel pourcentage compris entre 0,01 % et 100 %. Les pourcentages sont réattribués de manière aléatoire aux utilisateurs pour chaque expérience, y compris les expériences en double.
Dans la section Variantes , configurez un message intégré à l'application de référence à envoyer au groupe de référence à l'aide de l' interface de conception de message que vous utilisez pour une campagne de messagerie intégrée à l'application normale.
Pour ajouter une variante à votre test, cliquez sur Ajouter une variante . Par défaut, les expériences ont une référence et une variante.
(facultatif) Saisissez un nom plus descriptif pour chaque variante.
(facultatif) En haut de la section Variantes , cliquez sur le bouton Comparer les variantes pour comparer une variante de message supplémentaire côte à côte avec le message de référence.
Définissez une métrique d'objectif pour votre test à utiliser lors de l'évaluation des variantes du test, ainsi que toutes les métriques supplémentaires que vous souhaitez utiliser dans la liste. Ces métriques incluent des objectifs intégrés (engagement, achats, revenus, fidélisation, etc.), des événements de conversion Analytics et d'autres événements Analytics.
Configurez la planification de l'expérience :
- Définissez une date de début et de fin pour l'expérience.
- Définissez la manière dont les messages dans l'application sont déclenchés dans toutes les variantes.
Cliquez sur Réviser pour enregistrer votre expérience.
Vous êtes autorisé à réaliser jusqu'à 300 expériences par projet, qui peuvent comprendre jusqu'à 24 expériences en cours, le reste étant à l'état de brouillon ou terminé.
Validez votre expérience sur un appareil de test
Pour chaque installation Firebase, vous pouvez récupérer le jeton d'authentification d'installation qui lui est associé. Vous pouvez utiliser ce jeton pour tester des variantes d'expérience spécifiques sur un appareil de test sur lequel votre application est installée. Pour valider votre test sur un appareil de test, procédez comme suit :
- Obtenez le jeton d'authentification d'installation comme suit :
Rapide
do { let result = try await Installations.installations() .authTokenForcingRefresh(true) print("Installation auth token: \(result.authToken)") } catch { print("Error fetching token: \(error)") }
Objectif c
[[FIRInstallations installations] authTokenForcingRefresh:true completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) { if (error != nil) { NSLog(@"Error fetching Installation token %@", error); return; } NSLog(@"Installation auth token: %@", [result authToken]); }];
Java
FirebaseInstallations.getInstance().getToken(/* forceRefresh */true) .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() { @Override public void onComplete(@NonNull Task<InstallationTokenResult> task) { if (task.isSuccessful() && task.getResult() != null) { Log.d("Installations", "Installation auth token: " + task.getResult().getToken()); } else { Log.e("Installations", "Unable to get Installation auth token"); } } });
Kotlin+KTX
val forceRefresh = true FirebaseInstallations.getInstance().getToken(forceRefresh) .addOnCompleteListener { task -> if (task.isSuccessful) { Log.d("Installations", "Installation auth token: " + task.result?.token) } else { Log.e("Installations", "Unable to get Installation auth token") } }
- Dans la barre de navigation de la console Firebase , cliquez sur Tests A/B .
- Cliquez sur Brouillon (et/ou Exécution pour les expériences Remote Config), survolez votre expérience, cliquez sur le menu contextuel ( more_vert ), puis cliquez sur Gérer les appareils de test .
- Saisissez le jeton d'authentification d'installation pour un appareil de test et choisissez la variante d'expérience à envoyer à cet appareil de test.
- Exécutez l'application et confirmez que la variante sélectionnée est reçue sur l'appareil de test.
Pour en savoir plus sur les installations Firebase, consultez Gérer les installations Firebase .
Gérer votre expérience
Que vous créiez une expérience avec Remote Config, le composeur de notifications ou Firebase In-App Messaging, vous pouvez ensuite valider et démarrer votre expérience, surveiller votre expérience pendant son exécution et augmenter le nombre d'utilisateurs inclus dans votre expérience en cours.
Une fois votre test terminé, vous pouvez prendre note des paramètres utilisés par la variante gagnante, puis déployer ces paramètres auprès de tous les utilisateurs. Vous pouvez également exécuter une autre expérience.
Commencer une expérience
- Dans la section Engager du menu de navigation de la console Firebase , cliquez sur A/B Testing .
- Cliquez sur Brouillon , puis cliquez sur le titre de votre expérience.
- Pour vérifier que votre application compte des utilisateurs qui seraient inclus dans votre test, développez les détails du brouillon et recherchez un nombre supérieur à 0 % dans la section Ciblage et distribution (par exemple, 1 % d'utilisateurs correspondant aux critères ).
- Pour modifier votre expérience, cliquez sur Modifier .
- Pour démarrer votre expérience, cliquez sur Démarrer l'expérience . Vous pouvez exécuter jusqu'à 24 expériences par projet à la fois.
Surveiller une expérience
Une fois qu'une expérience est en cours depuis un certain temps, vous pouvez suivre sa progression et voir à quoi ressemblent vos résultats pour les utilisateurs qui ont participé à votre expérience jusqu'à présent.
- Dans la section Engager du menu de navigation de la console Firebase , cliquez sur A/B Testing .
Cliquez sur En cours d'exécution , puis cliquez sur le titre de votre expérience ou recherchez-le. Sur cette page, vous pouvez afficher diverses statistiques observées et modélisées sur votre expérience en cours, notamment les suivantes :
- % de différence par rapport à la ligne de base : mesure de l'amélioration d'une métrique pour une variante donnée par rapport à la ligne de base. Calculé en comparant la plage de valeurs de la variante à la plage de valeurs de la référence.
- Probabilité de battre la ligne de base : probabilité estimée qu'une variante donnée bat la ligne de base pour la métrique sélectionnée.
- observed_metric par utilisateur : sur la base des résultats de l'expérience, il s'agit de la plage prévue dans laquelle la valeur métrique tombera au fil du temps.
- Total observed_metric : valeur cumulée observée pour la ligne de base ou la variante. La valeur est utilisée pour mesurer les performances de chaque variante d'expérience et est utilisée pour calculer l'amélioration , la plage de valeurs , la probabilité de dépasser la ligne de base et la probabilité d'être la meilleure variante . Selon la métrique mesurée, cette colonne peut être intitulée "Durée par utilisateur", "Revenu par utilisateur", "Taux de rétention" ou "Taux de conversion".
Une fois votre test exécuté pendant un certain temps (au moins 7 jours pour FCM et la messagerie intégrée à l'application ou 14 jours pour la configuration à distance), les données de cette page indiquent quelle variante, le cas échéant, est "leader". Certaines mesures sont accompagnées d'un graphique à barres qui présente les données sous un format visuel.
Déployer une expérience à tous les utilisateurs
Une fois qu'un test a duré suffisamment longtemps pour que vous ayez un « leader », ou une variante gagnante, pour votre métrique d'objectif, vous pouvez proposer le test à 100 % des utilisateurs. Cela vous permet de sélectionner une variante à publier ultérieurement pour tous les utilisateurs. Même si votre test n'a pas permis de dégager un gagnant clair, vous pouvez toujours choisir de proposer une variante à tous vos utilisateurs.
- Dans la section Engager du menu de navigation de la console Firebase , cliquez sur A/B Testing .
- Cliquez sur Terminé ou en cours d'exécution , cliquez sur une expérience que vous souhaitez proposer à tous les utilisateurs, cliquez sur le menu contextuel ( ) Déployer la variante .
Déployez votre test auprès de tous les utilisateurs en effectuant l'une des opérations suivantes :
- Pour une expérience qui utilise le composeur de notifications , utilisez la boîte de dialogue Déployer le message pour envoyer le message aux utilisateurs ciblés restants qui ne faisaient pas partie de l'expérience.
- Pour une expérience Remote Config , sélectionnez une variante pour déterminer les valeurs des paramètres Remote Config à mettre à jour. Les critères de ciblage définis lors de la création du test sont ajoutés en tant que nouvelle condition dans votre modèle, afin de garantir que le déploiement n'affecte que les utilisateurs ciblés par le test. Après avoir cliqué sur Review in Remote Config pour vérifier les modifications, cliquez sur Publier les modifications pour terminer le déploiement.
- Pour un test de messagerie In-App , utilisez la boîte de dialogue pour déterminer quelle variante doit être déployée en tant que campagne de messagerie In-App autonome. Une fois sélectionné, vous êtes redirigé vers l'écran de rédaction FIAM pour apporter des modifications (si nécessaire) avant la publication.
Développer une expérience
Si vous constatez qu'une expérience n'attire pas suffisamment d'utilisateurs pour que l'A/B Testing puisse désigner un leader, vous pouvez augmenter la diffusion de votre expérience pour atteindre un plus grand pourcentage de la base d'utilisateurs de l'application.
- Dans la section Engager du menu de navigation de la console Firebase , cliquez sur A/B Testing .
- Sélectionnez l'expérience en cours que vous souhaitez modifier.
- Dans la présentation de l'expérience , cliquez sur le menu contextuel ( ), puis cliquez sur Modifier l'expérience en cours .
- La boîte de dialogue Ciblage affiche une option permettant d'augmenter le pourcentage d'utilisateurs participant à l'expérience en cours. Sélectionnez un nombre supérieur au pourcentage actuel et cliquez sur Publier . L'expérience sera étendue au pourcentage d'utilisateurs que vous avez spécifié.
Dupliquer ou arrêter une expérience
- Dans la section Engager du menu de navigation de la console Firebase , cliquez sur A/B Testing .
- Cliquez sur Terminé ou en cours d'exécution , maintenez le pointeur sur votre expérience, cliquez sur le menu contextuel ( ), puis cliquez sur Dupliquer l'expérience ou Arrêter l'expérience .
Ciblage des utilisateurs
Vous pouvez cibler les utilisateurs à inclure dans votre test à l'aide des critères de ciblage d'utilisateurs suivants.
Critère de ciblage | Les opérateurs) | Valeurs) | Note |
---|---|---|---|
Version | contient, ne contient pas, correspond exactement, contient une expression régulière | Saisissez une valeur pour une ou plusieurs versions d'application que vous souhaitez inclure dans le test. | Lorsque vous utilisez l’un des opérateurs contient , ne contient pas ou correspond exactement , vous pouvez fournir une liste de valeurs séparées par des virgules. Lorsque vous utilisez l'opérateur contain regex , vous pouvez créer des expressions régulières au format RE2 . Votre expression régulière peut correspondre à tout ou partie de la chaîne de version cible. Vous pouvez également utiliser les ancres ^ et $ pour faire correspondre le début, la fin ou l'intégralité d'une chaîne cible. |
Public(s) d'utilisateurs | comprend tout, comprend au moins un des, n'inclut pas la totalité, ne comprend pas au moins un des | Sélectionnez une ou plusieurs audiences Analytics pour cibler les utilisateurs susceptibles d'être inclus dans votre test. | Certaines expériences ciblant les audiences Google Analytics peuvent nécessiter quelques jours pour accumuler des données, car elles sont soumises à la latence du traitement des données Analytics. Vous êtes plus susceptible de rencontrer ce retard avec les nouveaux utilisateurs, qui sont généralement inscrits dans des audiences éligibles 24 à 48 heures après leur création, ou pour les audiences récemment créées . |
Propriété de l'utilisateur | Pour le texte : contient, ne contient pas, correspond exactement, contient une expression régulière Pour les chiffres : <, ≤, =, ≥, > | Une propriété utilisateur Analytics est utilisée pour sélectionner les utilisateurs susceptibles d'être inclus dans une expérience, avec une gamme d'options pour sélectionner les valeurs de propriété utilisateur. Sur le client, vous pouvez définir uniquement des valeurs de chaîne pour les propriétés utilisateur. Pour les conditions qui utilisent des opérateurs numériques, le service Remote Config convertit la valeur de la propriété utilisateur correspondante en nombre entier/flottant. | Lorsque vous utilisez l'opérateur contain regex , vous pouvez créer des expressions régulières au format RE2 . Votre expression régulière peut correspondre à tout ou partie de la chaîne de version cible. Vous pouvez également utiliser les ancres ^ et $ pour faire correspondre le début, la fin ou l'intégralité d'une chaîne cible. |
Pays/Région | N / A | Un ou plusieurs pays ou régions utilisés pour sélectionner les utilisateurs susceptibles d'être inclus dans le test. | |
Langues | N / A | Une ou plusieurs langues et paramètres régionaux utilisés pour sélectionner les utilisateurs susceptibles d'être inclus dans l'expérience. | |
Première ouverture | Plus que Moins que Entre | Ciblez les utilisateurs en fonction de la première fois qu'ils ont ouvert votre application, spécifiée en jours. | |
Dernier engagement avec l'application | Plus que Moins que Entre | Ciblez les utilisateurs en fonction de la dernière fois qu'ils ont interagi avec votre application, spécifiée en jours. |
Métriques des tests A/B
Lorsque vous créez votre expérience, vous choisissez une mesure principale, ou objectif , qui est utilisée pour déterminer la variante gagnante. Vous devez également suivre d'autres mesures pour vous aider à mieux comprendre les performances de chaque variante de test et suivre les tendances importantes qui peuvent différer pour chaque variante, comme la fidélisation des utilisateurs, la stabilité de l'application et les revenus des achats intégrés. Vous pouvez suivre jusqu'à cinq métriques non liées aux objectifs dans votre test.
Par exemple, supposons que vous ayez ajouté de nouveaux achats intégrés à votre application et que vous souhaitiez comparer l'efficacité de deux messages de « coup de pouce » différents. Dans ce cas, vous pouvez décider de définir les revenus d'achat comme mesure d'objectif, car vous souhaitez que la variante gagnante représente la notification qui a généré les revenus d'achats intégrés les plus élevés. Et parce que vous souhaitez également suivre quelle variante a généré davantage de conversions futures et d'utilisateurs retenus, vous pouvez ajouter les éléments suivants dans Autres métriques à suivre :- Revenu total estimé pour voir comment vos achats intégrés combinés et vos revenus publicitaires diffèrent entre les deux variantes
- Rétention (1 jour) , Rétention (2-3 jours) , Rétention (4-7 jours) pour suivre la rétention quotidienne/hebdomadaire de vos utilisateurs
Les tableaux suivants fournissent des détails sur la façon dont les mesures d'objectif et d'autres mesures sont calculées.
Mesures d'objectif
Métrique | Description |
---|---|
Utilisateurs sans crash | Pourcentage d'utilisateurs qui n'ont pas rencontré d'erreurs dans votre application détectées par le SDK Firebase Crashlytics au cours du test. |
Revenus publicitaires estimés | Revenus publicitaires estimés. |
Revenu total estimé | Valeur d'achat combinée et revenus publicitaires estimés. |
Revenus d'achat | Valeur combinée pour tous les événements purchase et in_app_purchase . |
Rétention (1 jour) | Le nombre d'utilisateurs qui reviennent quotidiennement sur votre application. |
Rétention (2-3 jours) | Le nombre d'utilisateurs qui reviennent sur votre application dans un délai de 2 à 3 jours. |
Rétention (4-7 jours) | Le nombre d'utilisateurs qui reviennent sur votre application dans un délai de 4 à 7 jours. |
Rétention (8-14 jours) | Le nombre d'utilisateurs qui reviennent sur votre application dans un délai de 8 à 14 jours. |
Rétention (15+ jours) | Nombre d'utilisateurs qui reviennent sur votre application 15 jours ou plus après leur dernière utilisation. |
premier_ouvert | Un événement Analytics qui se déclenche lorsqu'un utilisateur ouvre pour la première fois une application après l'avoir installée ou réinstallée. Utilisé dans le cadre d'un entonnoir de conversion. |
Autres mesures
Métrique | Description |
---|---|
notification_dismiss | Un événement Analytics qui se déclenche lorsqu'une notification envoyée par le rédacteur de notifications est rejetée (Android uniquement). |
notification_receive | Un événement Analytics qui se déclenche lorsqu'une notification envoyée par le rédacteur de notifications est reçue alors que l'application est en arrière-plan (Android uniquement). |
os_update | Un événement Analytics qui suit la mise à jour du système d'exploitation de l'appareil vers une nouvelle version. Pour en savoir plus, consultez Événements collectés automatiquement . |
vue_écran | Un événement Analytics qui suit les écrans affichés dans votre application. Pour en savoir plus, consultez Suivre les vues d'écran . |
session_start | Un événement Analytics qui compte les sessions utilisateur dans votre application. Pour en savoir plus, consultez Événements collectés automatiquement . |