Créer des tests de messagerie avec des tests A/B

Restez organisé à l'aide des collections Enregistrez et classez les contenus selon vos préférences.

Lorsque vous contactez vos utilisateurs ou lancez une nouvelle campagne marketing, vous voulez vous assurer de bien faire les choses. Les tests A/B peuvent vous aider à trouver le libellé et la présentation optimaux en testant des variantes de message auprès de certaines parties de votre base d'utilisateurs. Que votre objectif soit d'améliorer la fidélisation ou la conversion d'une offre, les tests A/B peuvent effectuer une analyse statistique pour déterminer si une variante de message surpasse la référence pour l'objectif sélectionné.

Pour effectuer des tests A/B sur des variantes de fonctionnalités avec un niveau de référence, procédez comme suit:

1. Créez votre test.
2. Validez votre test sur un appareil de test.
3. Gérez votre test.

Créer un test

Un test utilisant l'outil de création de notifications vous permet d'évaluer plusieurs variantes d'un même message de notification.

1. Connectez-vous à la console Firebase et vérifiez que Google Analytics est activé dans votre projet afin que le test ait accès aux données Analytics.

   Si vous n'avez pas activé Google Analytics lors de la création de votre projet, vous pouvez l'activer dans l'onglet Intégrations, accessible via settings > Paramètres du projet dans la console Firebase.

2. Dans la section Engagement de la barre de navigation de la console Firebase, cliquez sur A/B Testing.

3. Cliquez sur Créer un test, puis sélectionnez Notifications lorsque vous êtes invité à choisir le service que vous souhaitez tester.

4. Saisissez un nom et une description facultative pour votre test, puis cliquez sur Suivant.

5. Remplissez les champs Ciblage, en commençant par choisir l'application qui utilise votre test. Vous pouvez également cibler un sous-ensemble de vos utilisateurs pour qu'ils participent à votre test en choisissant des options, y compris les suivantes:

   • Version:une ou plusieurs versions de votre application
   • Audience utilisateur:audiences Analytics utilisées pour cibler les utilisateurs susceptibles d'être inclus dans le test
   • Propriété utilisateur:une ou plusieurs propriétés utilisateur Analytics permettant de sélectionner les utilisateurs susceptibles d'être inclus dans le test
   • Pays/Région:un ou plusieurs pays ou régions pour sélectionner les utilisateurs susceptibles d'être inclus dans le test
   • Langue de l'appareil:une ou plusieurs langues et zones géographiques utilisées pour sélectionner les utilisateurs susceptibles d'être inclus dans le test
   • Première ouverture:ciblez les utilisateurs en fonction de la première fois qu'ils ont ouvert votre application.
   • Dernier engagement avec une application:ciblez les utilisateurs en fonction de leur dernier engagement avec votre application.

6. Définissez le Pourcentage d'utilisateurs cibles:sélectionnez le pourcentage de la base d'utilisateurs de votre application correspondant aux critères définis sous Utilisateurs cibles que vous souhaitez répartir de manière uniforme entre la référence et une ou plusieurs variantes de votre test. Il peut s'agir de n'importe quel pourcentage compris entre 0,01% et 100%. Les pourcentages sont réattribués de manière aléatoire aux utilisateurs pour chaque test, y compris les tests en double.

7. Dans la section Variantes, saisissez un message à envoyer au groupe de référence dans le champ Saisissez le texte du message. Pour ne pas envoyer de message au groupe de référence, laissez ce champ vide.

8. (Facultatif) Pour ajouter plusieurs variantes à votre test, cliquez sur Ajouter une variante. Par défaut, les tests comportent une référence et une variante.

9. (Facultatif) Attribuez un nom à chaque variante de votre test pour remplacer les noms Variante A, Variante B, etc.

10. Définissez une métrique d'objectif à utiliser pour votre test lors de l'évaluation des variantes de test, ainsi que les métriques supplémentaires souhaitées dans la liste déroulante. Ces métriques incluent les objectifs intégrés (engagement, achats, revenus, fidélisation, etc.), les événements de conversion Analytics et les autres événements Analytics.

11. Choisissez les options de votre message:

    • Date de diffusion:sélectionnez Envoyer maintenant pour lancer votre test immédiatement après l'enregistrement, ou Planifié pour spécifier une heure de lancement ultérieure.
    • Options avancées:pour choisir des options avancées pour toutes les notifications incluses dans votre test, développez Options avancées, puis modifiez l'une des options de message listées.

12. Cliquez sur Vérifier pour enregistrer votre test.

Vous pouvez créer jusqu'à 300 tests par projet, dont 24 tests en cours, et les autres en brouillon ou terminés.

Valider votre test sur un appareil de test

Pour chaque installation Firebase, vous pouvez récupérer le jeton d'enregistrement FCM qui lui est associé. Vous pouvez utiliser ce jeton pour tester des variantes d'un test spécifique sur un appareil de test sur lequel votre application est installée. Pour valider votre test sur un appareil de test, procédez comme suit:

1. Obtenez le jeton d'enregistrement FCM comme suit:

   Swift

   Messaging.messaging().token { token, error in
     if let error = error {
       print("Error fetching FCM registration token: \(error)")
     } else if let token = token {
       print("FCM registration token: \(token)")
       self.fcmRegTokenMessage.text  = "Remote FCM registration token: \(token)"
     }
   }

   Objective-C

   [[FIRMessaging messaging] tokenWithCompletion:^(NSString *token, NSError *error) {
     if (error != nil) {
       NSLog(@"Error getting FCM registration token: %@", error);
     } else {
       NSLog(@"FCM registration token: %@", token);
       self.fcmRegTokenMessage.text = token;
     }
   }];

   Java

   FirebaseMessaging.getInstance().getToken()
       .addOnCompleteListener(new OnCompleteListener<String>() {
           @Override
           public void onComplete(@NonNull Task<String> task) {
             if (!task.isSuccessful()) {
               Log.w(TAG, "Fetching FCM registration token failed", task.getException());
               return;
             }
   
             // Get new FCM registration token
             String token = task.getResult();
   
             // Log and toast
             String msg = getString(R.string.msg_token_fmt, token);
             Log.d(TAG, msg);
             Toast.makeText(MainActivity.this, msg, Toast.LENGTH_SHORT).show();
           }
       });

   Kotlin

   FirebaseMessaging.getInstance().token.addOnCompleteListener(OnCompleteListener { task ->
       if (!task.isSuccessful) {
           Log.w(TAG, "Fetching FCM registration token failed", task.exception)
           return@OnCompleteListener
       }
   
       // Get new FCM registration token
       val token = task.result
   
       // Log and toast
       val msg = getString(R.string.msg_token_fmt, token)
       Log.d(TAG, msg)
       Toast.makeText(baseContext, msg, Toast.LENGTH_SHORT).show()
   })

   C++

   firebase::InitResult init_result;
   auto* installations_object = firebase::installations::Installations::GetInstance(
       firebase::App::GetInstance(), &init_result);
   installations_object->GetToken().OnCompletion(
       [](const firebase::Future<std::string>& future) {
         if (future.status() == kFutureStatusComplete &&
             future.error() == firebase::installations::kErrorNone) {
           printf("Installations Auth Token %s\n", future.result()->c_str());
         }
       });

   Unity

   Firebase.Messaging.FirebaseMessaging.DefaultInstance.GetTokenAsync().ContinueWith(
     task => {
       if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
         UnityEngine.Debug.Log(System.String.Format("FCM registration token {0}", task.Result));
       }
     });

2. Dans la barre de navigation de la console Firebase, cliquez sur Tests A/B.
3. Cliquez sur Brouillon, pointez sur votre test, cliquez sur le menu contextuel (more_vert), puis sur Gérer les appareils de test.
4. Saisissez le jeton FCM d'un appareil de test, puis choisissez la variante de test à envoyer à cet appareil.
5. Exécutez l'application et vérifiez que la variante sélectionnée est reçue sur l'appareil de test.

Gérer votre test

Que vous créiez un test avec Remote Config, l'outil de création de notifications ou Firebase In-App Messaging, vous pouvez ensuite valider et lancer votre test, le surveiller pendant son exécution et augmenter le nombre d'utilisateurs inclus dans votre test en cours.

Une fois votre test terminé, vous pouvez noter les paramètres utilisés par la variante gagnante, puis les déployer auprès de tous les utilisateurs. Vous pouvez également exécuter un autre test.

Démarrer un test

1. Dans la section Engage (Engagement) du menu de navigation de la console Firebase, cliquez sur A/B Testing.
2. Cliquez sur Brouillon, puis sur le titre de votre test.
3. Pour vérifier que votre application inclut des utilisateurs qui participeraient à votre test, développez les détails de l'aperçu et recherchez un nombre supérieur à 0% dans la section Ciblage et distribution (par exemple, 1% des utilisateurs correspondant aux critères).
4. Pour modifier votre test, cliquez sur Modifier.
5. Pour lancer votre test, cliquez sur Démarrer le test. Vous pouvez effectuer jusqu'à 24 tests par projet à la fois.

Surveiller un test

Une fois qu'un test a été exécuté pendant un certain temps, vous pouvez vérifier sa progression et voir à quoi ressemblent vos résultats pour les utilisateurs qui y ont participé jusqu'à présent.

1. Dans la section Engage (Engagement) du menu de navigation de la console Firebase, cliquez sur A/B Testing.

2. Cliquez sur En cours, puis sur le titre de votre test ou recherchez-le. Sur cette page, vous pouvez consulter diverses statistiques observées et modélisées sur votre test en cours, y compris les suivantes:

   • Différence par rapport à la valeur de référence (%): mesure de l'amélioration d'une métrique pour une variante donnée par rapport à la valeur de référence. Calculé en comparant la plage de valeurs de la variante à la plage de valeurs de la référence.
   • Probabilité de surpasser la référence: probabilité estimée qu'une variante donnée surpasse la référence pour la métrique sélectionnée.
   • observed_metric par utilisateur: d'après les résultats du test, il s'agit de la plage de valeurs prévue dans laquelle la valeur de la métrique se situera au fil du temps.
   • observed_metric total: valeur cumulée observée pour la référence ou la variante. Cette valeur permet de mesurer les performances de chaque variante d'un test et de calculer l'Amélioration, la Plage de valeurs, la Probabilité de battre la valeur de référence et la Probabilité d'être la meilleure variante. Selon la métrique mesurée, cette colonne peut être intitulée "Durée par utilisateur", "Revenus par utilisateur", "Taux de fidélisation" ou "Taux de conversion".

3. Une fois que votre test a été exécuté pendant un certain temps (au moins sept jours pour FCM et In-App Messaging, ou 14 jours pour Remote Config), les données de cette page indiquent la variante, le cas échéant, qui est la "leader". Certaines mesures sont accompagnées d'un graphique à barres qui présente les données sous forme visuelle.

Déployer un test auprès de tous les utilisateurs

Une fois qu'un test a été exécuté suffisamment longtemps pour que vous disposiez d'une variante "optimale" ou gagnante pour votre métrique d'objectif, vous pouvez le déployer auprès de l'ensemble des utilisateurs. Cela vous permet de sélectionner une variante qui sera désormais présentée à tous les utilisateurs. Même si votre test n'a pas permis de déterminer clairement un gagnant, vous pouvez tout de même déployer une variante auprès de tous vos utilisateurs.

1. Dans la section Engage (Engagement) du menu de navigation de la console Firebase, cliquez sur A/B Testing.
2. Cliquez sur Terminé ou En cours, cliquez sur le test que vous souhaitez déployer auprès de tous les utilisateurs, cliquez sur le menu contextuel (more_vert) et sur Déployer la variante.

3. Déployez votre test auprès de tous les utilisateurs en procédant comme suit:

   • Pour un test qui utilise l'outil de création de notifications, utilisez la boîte de dialogue Message de déploiement pour envoyer le message aux utilisateurs ciblés restants qui ne faisaient pas partie du test.
   • Pour un test Remote Config, sélectionnez une variante pour déterminer quelles valeurs de paramètre Remote Config modifier. Les critères de ciblage définis lorsque vous avez créé le test sont ajoutés en tant que nouvelle condition dans votre modèle afin que seuls les utilisateurs ciblés par le test soient concernés par le déploiement. Après avoir cliqué sur Vérifier dans Remote Config pour vérifier les modifications, cliquez sur Publier les modifications pour terminer le déploiement.
   • Pour un test In-App Messaging, utilisez la boîte de dialogue pour déterminer quelle variante doit être déployée en tant que campagne In-App Messaging autonome. Une fois la sélection effectuée, vous êtes redirigé vers l'écran de composition FIAM pour apporter les modifications nécessaires (le cas échéant) avant de publier le message.

Développer un test

Si vous constatez qu'un test n'attire pas suffisamment d'utilisateurs pour que A/B Testing déclare un gagnant, vous pouvez augmenter la distribution de votre test pour toucher un pourcentage plus élevé de la base d'utilisateurs de l'application.

1. Dans la section Engage (Engagement) du menu de navigation de la console Firebase, cliquez sur A/B Testing.
2. Sélectionnez le test en cours que vous souhaitez modifier.
3. Dans la section Présentation du test, cliquez sur le menu contextuel (more_vert), puis sur Modifier le test en cours d'exécution.
4. La boîte de dialogue Ciblage affiche une option permettant d'augmenter le pourcentage d'utilisateurs participant au test en cours. Sélectionnez un nombre supérieur au pourcentage actuel, puis cliquez sur Publier. Le test sera déployé auprès du pourcentage d'utilisateurs que vous avez spécifié.

Dupliquer ou arrêter un test

1. Dans la section Engage (Engagement) du menu de navigation de la console Firebase, cliquez sur A/B Testing.
2. Cliquez sur Terminé ou En cours, maintenez le pointeur sur votre test, cliquez sur le menu contextuel (more_vert), puis sur Dupliquer le test ou Arrêter le test.

Ciblage des utilisateurs

Vous pouvez cibler les utilisateurs à inclure dans votre test à l'aide des critères de ciblage des utilisateurs suivants.

A/B Testing métriques

Lorsque vous créez votre test, vous choisissez une métrique principale, ou objectif, qui est utilisée pour déterminer la variante gagnante. Vous devez également suivre d'autres métriques pour mieux comprendre les performances de chaque variante de test et suivre les tendances importantes qui peuvent différer pour chaque variante, comme la rétention des utilisateurs, la stabilité de l'application et les revenus générés par les achats via l'application. Vous pouvez suivre jusqu'à cinq métriques autres que les objectifs dans votre test.

• Revenus totaux estimés pour voir comment les revenus combinés des achats via l'application et des revenus publicitaires diffèrent entre les deux variantes.
• Fidélisation (1 jour), Fidélisation (2 à 3 jours) et Fidélisation (4 à 7 jours) pour suivre la fidélisation quotidienne/hebdomadaire des utilisateurs

Les tableaux suivants expliquent comment les métriques d'objectif et d'autres métriques sont calculées.

Statistiques "Objectif"

Autres métriques

Exportation de données BigQuery

En plus d'afficher les données des tests A/B Testing dans la console Firebase, vous pouvez inspecter et analyser les données des tests dans BigQuery. Bien que A/B Testing ne dispose pas d'une table BigQuery distincte, les appartenances aux tests et aux variantes sont stockées dans chaque événement Google Analytics dans les tables d'événements Analytics.

Les propriétés utilisateur qui contiennent des informations sur le test sont au format userProperty.key like "firebase_exp_%" ou userProperty.key = "firebase_exp_01", où 01 est l'ID du test et userProperty.value.string_value contient l'indice (basé sur zéro) de la variante du test.

Vous pouvez utiliser ces propriétés utilisateur de test pour extraire les données du test. Vous pouvez ainsi découper les résultats de votre test de différentes manières et vérifier indépendamment les résultats de A/B Testing.

Pour commencer, procédez comme suit, comme décrit dans ce guide:

1. Activez l'exportation BigQuery pour Google Analytics dans la console Firebase.
2. Accéder aux données A/B Testing à l'aide de BigQuery
3. Explorer des exemples de requêtes

Activer l'exportation BigQuery pour Google Analytics dans la console Firebase

Si vous disposez du forfait Spark, vous pouvez utiliser le bac à sable BigQuery pour accéder à BigQuery sans frais, sous réserve des limites du bac à sable. Pour en savoir plus, consultez la section Tarifs et bac à sable BigQuery.

Tout d'abord, assurez-vous d'exporter vos données Analytics vers BigQuery:

1. Ouvrez l'onglet Intégrations, auquel vous pouvez accéder à l'aide de settings > Paramètres du projet dans la console Firebase.
2. Si vous utilisez déjà BigQuery avec d'autres services Firebase, cliquez sur Gérer. Sinon, cliquez sur Associer.
3. Consultez À propos de l'association de Firebase à BigQuery, puis cliquez sur Suivant.
4. Dans la section Configurer l'intégration, activez l'option Google Analytics.

5. Sélectionnez une région, puis choisissez les paramètres d'exportation.

6. Cliquez sur Associer à BigQuery.

Selon la méthode choisie pour exporter les données, l'accès aux tableaux peut prendre jusqu'à une journée. Pour en savoir plus sur l'exportation des données de projet vers BigQuery, consultez Exporter les données de projet vers BigQuery.

Accéder aux données A/B Testing dans BigQuery

Avant d'interroger des données pour un test spécifique, vous devez obtenir certains des éléments suivants à utiliser dans votre requête:

• ID du test:vous pouvez l'obtenir à partir de l'URL de la page Présentation du test. Par exemple, si votre URL se présente comme https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25, l'ID de l'expérience est 25.
• ID de propriété Google Analytics: il s'agit de votre ID de propriété Google Analytics à 9 chiffres. Vous pouvez le trouver dans Google Analytics. Il apparaît également dans BigQuery lorsque vous développez le nom de votre projet pour afficher le nom de votre table d'événements Google Analytics (project_name.analytics_000000000.events).
• Date du test:pour composer une requête plus rapide et plus efficace, il est recommandé de limiter vos requêtes aux partitions de table d'événements quotidiens Google Analytics contenant vos données de test (tables identifiées par un suffixe YYYYMMDD). Par conséquent, si votre test s'est déroulé du 2 février 2024 au 2 mai 2024, vous devez spécifier un _TABLE_SUFFIX between '20240202' AND '20240502'. Pour en savoir plus, consultez Sélectionner les valeurs d'un test spécifique.
• Noms des événements:ils correspondent généralement aux métriques d'objectif que vous avez configurées dans le test. Par exemple, des événements in_app_purchase, ad_impression ou user_retention.

Une fois que vous avez rassemblé les informations nécessaires pour générer votre requête:

1. Ouvrez BigQuery dans la console Google Cloud.
2. Sélectionnez votre projet, puis Créer une requête SQL.
3. Ajoutez votre requête. Pour obtenir des exemples de requêtes à exécuter, consultez la section Explorer des exemples de requêtes.
4. Cliquez sur Exécuter.

Interroger les données du test à l'aide de la requête générée automatiquement par la console Firebase

Si vous utilisez le forfait Blaze, la page Présentation du test fournit un exemple de requête qui renvoie le nom du test, les variantes, les noms des événements et le nombre d'événements pour le test que vous consultez.

Pour obtenir et exécuter la requête générée automatiquement:

1. Dans la console Firebase, ouvrez A/B Testing, puis sélectionnez le test A/B Testing que vous souhaitez interroger pour ouvrir la présentation du test.
2. Dans le menu "Options", sous Intégration BigQuery, sélectionnez Interroger les données du test. Cela ouvre votre projet dans BigQuery dans la console Google Cloud et fournit une requête de base que vous pouvez utiliser pour interroger vos données de test.

L'exemple suivant montre une requête générée pour un test avec trois variantes (y compris la référence) nommé "Test d'accueil d'hiver". Elle renvoie le nom du test actif, le nom de la variante, l'événement unique et le nombre d'événements pour chaque événement. Notez que le générateur de requêtes ne spécifie pas le nom de votre projet dans le nom de la table, car il s'ouvre directement dans votre projet.

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

Pour obtenir d'autres exemples de requêtes, consultez la section Explorer des exemples de requêtes.

Explorer des exemples de requêtes

Les sections suivantes fournissent des exemples de requêtes que vous pouvez utiliser pour extraire les données de test A/B Testing à partir des tables d'événements Google Analytics.

Extraire les valeurs d'écart type des achats et des tests de tous les tests

Vous pouvez utiliser les données des résultats du test pour vérifier de manière indépendante les résultats Firebase A/B Testing. L'instruction SQL BigQuery suivante extrait les variantes d'expérience, le nombre d'utilisateurs uniques dans chaque variante, et somme les revenus totaux des événements in_app_purchase et ecommerce_purchase, ainsi que les écarts-types pour toutes les expériences au cours de la période spécifiée comme dates de début et de fin de l'_TABLE_SUFFIX. Vous pouvez utiliser les données obtenues à partir de cette requête avec un générateur de signification statistique pour les tests t à extrémité unique afin de vérifier que les résultats fournis par Firebase correspondent à votre propre analyse.

Pour en savoir plus sur la façon dont A/B Testing calcule l'inférence, consultez la section Interpréter les résultats des tests.

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

Sélectionner les valeurs d'un test spécifique

L'exemple de requête suivant montre comment obtenir des données pour un test spécifique dans BigQuery. Cet exemple de requête renvoie le nom du test, les noms des variantes (y compris la référence), les noms des événements et leur nombre.

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName