Créer des tests Firebase Remote Config avec A/B Testing

Lorsque vous utilisez Firebase Remote Config pour déployer des paramètres pour une application avec une base d'utilisateurs actifs, vous devez vous assurer de ne pas vous tromper. Vous pouvez utiliser les tests A/B Testing pour déterminer les éléments suivants :

• La meilleure façon d'implémenter une fonctionnalité pour optimiser l'expérience utilisateur. Trop souvent, les développeurs d'applications ne se rendent pas compte que leurs utilisateurs n'aiment pas une nouvelle fonctionnalité ou une expérience utilisateur mise à jour tant que la note de leur application dans l'App Store n'a pas baissé. A/B Testing peut vous aider à mesurer si vos utilisateurs apprécient les nouvelles variantes de fonctionnalités ou s'ils préfèrent l'application telle qu'elle est. De plus, en conservant la plupart de vos utilisateurs dans un groupe de référence, vous vous assurez que la majorité de votre base d'utilisateurs peut continuer à utiliser votre application sans que son comportement ou son apparence ne changent jusqu'à la fin du test.
• Le meilleur moyen d'optimiser l'expérience utilisateur pour un objectif commercial. Parfois, vous implémentez des modifications de produit pour maximiser une métrique comme les revenus ou la fidélisation. Avec A/B Testing, vous définissez votre objectif d'entreprise, et Firebase effectue l'analyse statistique pour déterminer si une variante surpasse la référence pour l'objectif que vous avez sélectionné.

Pour effectuer un test A/B des variantes de fonctionnalités avec une référence :

1. Créez votre test.
2. Gérez votre test.

Créer un test

Un test Remote Config vous permet d'évaluer plusieurs variantes pour un ou plusieurs paramètres Remote Config.

1. Vérifiez que Google Analytics est activé dans votre projet afin que l'expérience ait accès aux données Analytics.

   Si vous n'avez pas activé Google Analytics lorsque vous avez créé votre projet, vous pouvez l'activer dans l'onglet settings Intégrations > Paramètres de la console Firebase.

2. Dans la console Firebase, accédez à DevOps et engagement > A/B Testing.

3. Cliquez sur Créer un test, puis sélectionnez Remote Config lorsque vous êtes invité à choisir le service que vous souhaitez tester.

4. Dans la section Variantes, choisissez une référence et au moins une variante pour le test. Vous pouvez ajouter un ou plusieurs paramètres à tester. Vous pouvez répéter cette étape pour ajouter plusieurs paramètres à votre test.

5. (Facultatif) Pour ajouter plusieurs variantes à votre test, cliquez sur Ajouter une variante.

6. Modifiez un ou plusieurs paramètres pour des variantes spécifiques. Les paramètres qui n'ont pas été modifiés sont les mêmes pour les utilisateurs non inclus dans le test.

7. Développez Pondérations des variantes pour afficher ou modifier la pondération des variantes pour le test. Par défaut, chaque variante est pondérée de la même manière. Notez qu'une pondération inégale peut augmenter la durée de collecte des données. Par ailleurs, vous ne pourrez plus modifier la pondération une fois que le test aura commencé.

8. Définissez les critères de ciblage de votre test à l'aide des conditions Remote Config :

   • Réutiliser une condition existante : si une condition existante dans votre modèle Remote Config correspond déjà à votre audience cible, sélectionnez-la dans la liste.

   • Vérifiez l'ordre d'évaluation des conditions : assurez-vous que les conditions de la page Conditions sont organisées dans le bon ordre de priorité. Étant donné que Remote Config évalue les conditions de manière séquentielle de haut en bas, d'autres conditions de priorité plus élevée peuvent empêcher un nombre suffisant d'utilisateurs d'atteindre la condition associée à votre test.

   • Créer une condition : si aucune condition existante ne répond à vos exigences de ciblage ou si vous préférez dupliquer une condition existante (par exemple, si vous préférez ne pas utiliser une condition déjà utilisée par d'autres paramètres), créez une condition en choisissant d'abord l'application qui utilise votre test. Si vous créez une condition distincte ou dupliquée pour un test, assurez-vous que la nouvelle condition est plus prioritaire que la condition existante. Sinon, les utilisateurs correspondront d'abord à la condition existante et aucun utilisateur ne sera inclus dans le test.

     Vous pouvez ensuite cibler un sous-ensemble spécifique d'utilisateurs en cliquant sur et, puis en sélectionnant une ou plusieurs options dans la liste suivante :

     • Version : une ou plusieurs versions de votre application
     • Numéro de build : numéro de build (Apple) ou code de version (Android) de votre application
     • Plate-forme : une ou plusieurs plates-formes (iOS, Android ou Web) à cibler
     • Système d'exploitation : ciblez les utilisateurs de votre application Web en fonction de leur système d'exploitation et de sa version.
     • Navigateur : ciblez les utilisateurs d'applications Web en fonction de leur navigateur Web et de sa version.
     • Catégorie d'appareil : ciblez les utilisateurs d'applications Web en fonction du type d'appareil qu'ils utilisent (mobile ou non).
     • Langues : une ou plusieurs langues et zones géographiques utilisées pour sélectionner les utilisateurs susceptibles d'être inclus dans le test
     • Pays/Région : un ou plusieurs pays ou régions pour sélectionner les utilisateurs à inclure dans le test
     • Audience utilisateur : audiences Analytics utilisées pour cibler les utilisateurs susceptibles d'être inclus dans le test
     • Propriété utilisateur : une ou plusieurs propriétés utilisateur Analytics permettant de sélectionner les utilisateurs susceptibles d'être inclus dans le test.
     • Utilisateur d'un pourcentage aléatoire : ciblez un pourcentage d'utilisateurs sélectionnés de manière aléatoire dans une plage de centiles définie.
     • Segment importé : ciblez les utilisateurs qui appartiennent à des segments personnalisés importés dans votre projet.
     • Date/Heure : ciblez les utilisateurs en fonction d'une période de date et d'heure spécifique.
     • Première ouverture : ciblez les utilisateurs en fonction de la première fois qu'ils ont ouvert votre application.
     • ID d'installation : ciblez des appareils de test ou des instances client spécifiques à l'aide de leurs ID d'installation Firebase (FIDs).
     • L'utilisateur existe : ciblez tous les utilisateurs de toutes les applications du projet.
     • Signal personnalisé : ciblez les utilisateurs en fonction de signaux personnalisés côté client de type clé-valeur transmis au moment de l'exécution.

9. Définissez l'exposition : saisissez le pourcentage de la base d'utilisateurs de votre application correspondant aux critères définis sous Cibler les utilisateurs que vous souhaitez répartir de manière égale entre la référence et une ou plusieurs variantes de votre test. Il peut s'agir de n'importe quel pourcentage compris entre 0% et 100%. Les utilisateurs sont attribués de manière aléatoire à chaque test, y compris aux tests dupliqués.

10. Vous pouvez également définir un événement d'activation pour vous assurer que seules les données des utilisateurs ayant d'abord déclenché un événement Analytics sont comptabilisées dans votre test. Notez que tous les utilisateurs correspondant à vos paramètres de ciblage recevront des valeurs expérimentales Remote Config, mais seuls ceux qui déclenchent un événement d'activation seront inclus dans les résultats de votre test.

    Pour que votre test soit valide, assurez-vous que l'événement que vous choisissez se produit après l'activation des valeurs de configuration récupérées par votre application. De plus, les événements suivants ne peuvent pas être utilisés, car ils se produisent toujours avant l'activation des valeurs récupérées :

    • app_install
    • app_remove
    • app_update

    L'événement Analytics que vous sélectionnez comme événement d'activation ne doit pas être utilisé comme métrique principale (ou comme métrique supplémentaire) dans le même test. Cela déclenchera une erreur de validation dans la console Firebase et empêchera le lancement de votre test.

11. Pour les objectifs du test, sélectionnez la métrique principale à suivre, puis ajoutez les métriques supplémentaires que vous souhaitez suivre dans la liste. Il s'agit, entre autres, des objectifs intégrés (achats, revenus, fidélisation, utilisateurs sans plantages, etc.), des événements de conversion Analytics et d'autres événements Analytics. Lorsque vous avez terminé, cliquez sur Suivant.

12. Cliquez sur Enregistrer pour enregistrer votre test. Vous devez publier le modèle pour commencer à exécuter votre test.

Vous pouvez effectuer jusqu'à 300 tests par projet (y compris les déploiements). Parmi ceux-ci, 24 tests et déploiements peuvent être en cours d'exécution, et les autres doivent être terminés.

Gérer votre test

Lorsque vous créez un test avec Remote Config, vous pouvez le lancer, le surveiller pendant son exécution et augmenter le nombre d'utilisateurs inclus dans le test en cours.

Une fois votre test terminé, vous pouvez noter les paramètres utilisés par la variante gagnante, puis les déployer pour tous les utilisateurs. Vous pouvez également exécuter un autre test.

Modifier un test

1. Dans la section DevOps et engagement du menu de navigation de la console Firebase, cliquez sur Remote Config.
2. Cliquez sur l'onglet Tests A/B.
3. Cliquez sur En cours d'exécution, puis sur le test que vous souhaitez modifier.
4. Cliquez sur le menu contextuel (more_vert), puis sur Modifier le test en cours d'exécution.
5. Pour vérifier que votre application compte des utilisateurs qui seraient inclus dans votre test, développez les détails et recherchez un nombre supérieur à 0% dans la section Ciblage et distribution (par exemple, 1% des utilisateurs correspondant aux critères).

Surveiller un test

Une fois qu'un test est en cours depuis un certain temps, vous pouvez vérifier sa progression et consulter les résultats obtenus jusqu'à présent auprès des utilisateurs qui y ont participé.

1. Dans la section DevOps et engagement du menu de navigation de la console Firebase, cliquez sur Remote Config.
2. Cliquez sur l'onglet Tests A/B.

3. Cliquez sur En cours d'exécution, puis cliquez sur le titre de votre test ou recherchez-le. Sur cette page, vous pouvez consulter diverses statistiques observées et modélisées sur votre test en cours, y compris les suivantes :

   • Différence par rapport à la référence (%) : mesure de l'amélioration d'une métrique pour une variante donnée par rapport à la référence. Calculée en comparant la plage de valeurs de la variante à celle de la référence.
   • Probabilité de surpasser la référence : probabilité estimée qu'une variante donnée surpasse la référence pour la métrique sélectionnée.
   • observed_metric par utilisateur : d'après les résultats du test, il s'agit de la plage de valeurs dans laquelle la métrique devrait se situer au fil du temps.
   • Total observed_metric : valeur cumulative observée pour la référence ou la variante. Cette valeur permet de mesurer les performances de chaque variante de test et de calculer l'amélioration, la plage de valeurs, la probabilité de surpasser la référence et la probabilité d'être la meilleure variante. Selon la métrique mesurée, cette colonne peut être intitulée "Durée par utilisateur", "Revenus par utilisateur", "Taux de fidélisation" ou "Taux de conversion".

4. Une fois votre test exécuté pendant un certain temps (14 jours pour Remote Config), les données de cette page indiquent la variante la plus performante, le cas échéant. Certaines mesures sont accompagnées d'un graphique à barres qui présente les données sous forme visuelle.

Déployer un test auprès de tous les utilisateurs

Une fois qu'un test a été exécuté suffisamment longtemps pour que vous disposiez d'une variante "optimale" (gagnante) pour votre métrique d'objectif, vous pouvez le déployer auprès de la totalité des utilisateurs. Cela vous permet de sélectionner une variante qui sera désormais présentée à tous les utilisateurs. Même si votre test n'a pas permis de déterminer clairement un gagnant, vous pouvez tout de même choisir de déployer une variante auprès de tous vos utilisateurs.

1. Dans la section DevOps et engagement du menu de navigation de la console Firebase, cliquez sur Remote Config.
2. Cliquez sur l'onglet Tests A/B.
3. Cliquez sur Terminé ou En cours d'exécution, puis sur l'expérience que vous souhaitez déployer auprès de tous les utilisateurs. Cliquez ensuite sur le menu contextuel (more_vert) Déployer la variante.
4. Déployez votre test auprès de tous les utilisateurs en procédant comme suit :
   • Pour un test Remote Config, sélectionnez une variante pour déterminer les valeurs de paramètre Remote Config à modifier. Les critères de ciblage définis lorsque vous avez créé le test sont ajoutés en tant que nouvelle condition dans votre modèle afin que seuls les utilisateurs ciblés par le test soient concernés par le déploiement. Après avoir cliqué sur Vérifier dans Remote Config pour examiner les modifications, cliquez sur Publier les modifications pour terminer le déploiement.

Développer un test

Si vous constatez qu'un test n'attire pas suffisamment d'utilisateurs pour que A/B Testing puisse désigner un leader, vous pouvez augmenter la distribution de votre test pour toucher un pourcentage plus important de la base d'utilisateurs de l'application.

1. Dans la section DevOps et engagement du menu de navigation de la console Firebase, cliquez sur Remote Config.
2. Cliquez sur l'onglet Tests A/B.
3. Sélectionnez le test en cours que vous souhaitez modifier.
4. Dans Présentation du test, cliquez sur le menu contextuel (more_vert), puis sur Modifier le test en cours d'exécution.
5. La boîte de dialogue Ciblage affiche une option permettant d'augmenter le pourcentage d'utilisateurs participant au test en cours. Sélectionnez un nombre supérieur au pourcentage actuel, puis cliquez sur Publier. Le test sera déployé auprès du pourcentage d'utilisateurs que vous avez spécifié.

Dupliquer un test

1. Dans la section DevOps et engagement du menu de navigation de la console Firebase, cliquez sur Remote Config.
2. Cliquez sur l'onglet Tests A/B.
3. Sélectionnez le test en cours ou terminé que vous souhaitez arrêter.
4. Cliquez sur Terminés ou En cours d'exécution, pointez sur votre test, cliquez sur le menu contextuel more_vert, puis sur Dupliquer le test ou Arrêter le test.

Arrêter un test

1. Dans la section DevOps et engagement du menu de navigation de la console Firebase, cliquez sur Remote Config.
2. Cliquez sur l'onglet Tests A/B.
3. Sélectionnez le test en cours ou terminé que vous souhaitez arrêter.
4. Cliquez sur Terminés ou En cours d'exécution, pointez sur votre test, cliquez sur le menu contextuel (more_vert), puis sur Arrêter le test.

Identification du client Web et persistance des tests

Lorsqu'un utilisateur lance une application Web à l'aide de Firebase A/B Testing dans un navigateur pour la première fois, un ID d'installation unique Firebase (FID) est généré. Cet FID est stocké de manière persistante dans l'IndexedDB du navigateur pour identifier l'instance de l'application au cours des sessions.

Firebase A/B Testing utilise le FID pour attribuer des utilisateurs à des variantes de test, et Google Analytics l'utilise pour l'agrégation d'événements afin de mesurer et d'analyser le comportement des utilisateurs dans chaque variante.

Étant donné que le FID est stocké dans IndexedDB, Firebase A/B Testing considère un utilisateur comme un nouvel utilisateur s'il accède à votre application depuis un autre navigateur ou dans une fenêtre de navigation privée, ou s'il vide l'IndexedDB de son navigateur. Cela signifie qu'un utilisateur peut être inclus dans différentes variantes de test lorsqu'il utilise différents navigateurs ou sessions de navigation.

Ciblage des utilisateurs

Vous pouvez cibler les utilisateurs à inclure dans votre test à l'aide des critères de ciblage des utilisateurs suivants.

Les types de règles suivants sont acceptés dans la console Firebase. Des fonctionnalités équivalentes sont disponibles dans l'API REST Remote Config, comme indiqué dans la documentation de référence sur les expressions conditionnelles.

A/B Testing métriques

Lorsque vous créez votre test, vous choisissez une métrique principale ou d'objectif qui est utilisée pour déterminer la variante gagnante. Vous devez également suivre d'autres métriques pour mieux comprendre les performances de chaque variante de test et suivre les tendances importantes qui peuvent différer pour chaque variante, comme la rétention des utilisateurs, la stabilité de l'application et les revenus générés par les achats via l'application. Vous pouvez suivre jusqu'à cinq métriques non liées à l'objectif dans votre test.

Par exemple, imaginons que vous utilisiez Remote Config pour lancer deux flux de jeu différents dans votre application et que vous souhaitiez optimiser les achats via l'application et les revenus publicitaires, mais que vous souhaitiez également suivre la stabilité et la rétention des utilisateurs de chaque variante. Dans ce cas, vous pouvez choisir Revenu total estimé comme métrique d'objectif, car elle inclut les revenus des achats via une application et les revenus publicitaires. Ensuite, pour Autres métriques à suivre, vous pouvez ajouter les suivantes :

• Pour suivre la rétention des utilisateurs au quotidien et à la semaine, ajoutez Rétention (2 à 3 jours) et Rétention (4 à 7 jours).
• Pour comparer la stabilité entre les deux flux de jeu, ajoutez Utilisateurs n'ayant pas subi de plantage.
• Pour afficher des vues plus détaillées de chaque type de revenu, ajoutez Revenus générés par les achats et Revenus publicitaires estimés.

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName