En plus d'afficher les données des tests A/B Testing dans la console Firebase, vous pouvez inspecter et analyser les données des tests dans BigQuery. Bien que A/B Testing ne dispose pas d'une table BigQuery distincte, les appartenances aux tests et aux variantes sont stockées dans chaque événement Google Analytics dans les tables d'événements Analytics.
Les propriétés utilisateur qui contiennent des informations sur le test sont au format userProperty.key like "firebase_exp_%" ou userProperty.key =
"firebase_exp_01", où 01 est l'ID du test et userProperty.value.string_value contient l'indice (basé sur zéro) de la variante du test.
Vous pouvez utiliser ces propriétés utilisateur de test pour extraire les données du test. Vous pouvez ainsi découper les résultats de votre test de différentes manières et vérifier indépendamment les résultats de A/B Testing.
Pour commencer, procédez comme suit, comme décrit dans ce guide :
- Activez l'exportation BigQuery pour Google Analytics dans la console Firebase.
- Accéder aux données A/B Testing à l'aide de BigQuery
- Explorer des exemples de requêtes
Activer l'exportation BigQuery pour Google Analytics dans la console Firebase
Si vous disposez du forfait Spark, vous pouvez utiliser le bac à sable BigQuery pour accéder à BigQuery sans frais, sous réserve des limites du bac à sable. Pour en savoir plus, consultez la section Tarifs et bac à sable BigQuery.
Tout d'abord, assurez-vous d'exporter vos données Analytics vers BigQuery :
- Ouvrez l'onglet Intégrations, auquel vous pouvez accéder à l'aide de > Paramètres du projet dans la console Firebase.
- Si vous utilisez déjà BigQuery avec d'autres services Firebase, cliquez sur Gérer. Sinon, cliquez sur Associer.
- Consultez À propos de l'association de Firebase à BigQuery, puis cliquez sur Suivant.
- Dans la section Configurer l'intégration, activez l'option Google Analytics.
Sélectionnez une région, puis choisissez les paramètres d'exportation.
Cliquez sur Associer à BigQuery.
Selon la méthode choisie pour exporter les données, l'accès aux tableaux peut prendre jusqu'à une journée. Pour en savoir plus sur l'exportation des données de projet vers BigQuery, consultez Exporter les données de projet vers BigQuery.
Accéder aux données A/B Testing dans BigQuery
Avant d'interroger des données pour un test spécifique, vous devez obtenir tout ou partie des éléments suivants à utiliser dans votre requête:
- ID du test : vous pouvez l'obtenir à partir de l'URL de la page Présentation du test. Par exemple, si votre URL se présente comme
https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25, l'ID de l'expérience est 25. - ID de propriété Google Analytics : il s'agit de votre ID de propriété Google Analytics à 9 chiffres. Vous pouvez le trouver dans Google Analytics. Il apparaît également dans BigQuery lorsque vous développez le nom de votre projet pour afficher le nom de votre table d'événements Google Analytics (
project_name.analytics_000000000.events). - Date du test : pour composer une requête plus rapide et plus efficace, il est recommandé de limiter vos requêtes aux partitions de table d'événements quotidiens Google Analytics contenant vos données de test (tables identifiées par un suffixe
YYYYMMDD). Par conséquent, si votre test s'est déroulé du 2 février 2024 au 2 mai 2024, vous devez spécifier un_TABLE_SUFFIX between '20240202' AND '20240502'. Pour en savoir plus, consultez Sélectionner les valeurs d'un test spécifique. - Noms des événements:ils correspondent généralement aux métriques d'objectif que vous avez configurées dans le test. Par exemple, des événements
in_app_purchase,ad_impressionouuser_retention.
Une fois que vous avez rassemblé les informations nécessaires pour générer votre requête :
- Ouvrez BigQuery dans la console Google Cloud.
- Sélectionnez votre projet, puis Créer une requête SQL.
- Ajoutez votre requête. Pour obtenir des exemples de requêtes à exécuter, consultez la section Explorer des exemples de requêtes.
- Cliquez sur Exécuter.
Interroger les données du test à l'aide de la requête générée automatiquement par la console Firebase
Si vous utilisez le forfait Blaze, la page Présentation du test fournit un exemple de requête qui renvoie le nom du test, les variantes, les noms des événements et le nombre d'événements pour le test que vous consultez.
Pour obtenir et exécuter la requête générée automatiquement:
- Dans la console Firebase, ouvrez A/B Testing, puis sélectionnez le test A/B Testing que vous souhaitez interroger pour ouvrir la présentation du test.
- Dans le menu "Options", sous Intégration BigQuery, sélectionnez Interroger les données du test. Cela ouvre votre projet dans BigQuery dans la console Google Cloud et fournit une requête de base que vous pouvez utiliser pour interroger vos données de test.
L'exemple suivant montre une requête générée pour un test avec trois variantes (y compris la référence) nommé "Test d'accueil hivernal". Elle renvoie le nom du test actif, le nom de la variante, l'événement unique et le nombre d'événements pour chaque événement. Notez que le générateur de requêtes ne spécifie pas le nom de votre projet dans le nom de la table, car il s'ouvre directement dans votre projet.
/*
This query is auto-generated by Firebase A/B Testing for your
experiment "Winter welcome experiment".
It demonstrates how you can get event counts for all Analytics
events logged by each variant of this experiment's population.
*/
SELECT
'Winter welcome experiment' AS experimentName,
CASE userProperty.value.string_value
WHEN '0' THEN 'Baseline'
WHEN '1' THEN 'Welcome message (1)'
WHEN '2' THEN 'Welcome message (2)'
END AS experimentVariant,
event_name AS eventName,
COUNT(*) AS count
FROM
`analytics_000000000.events_*`,
UNNEST(user_properties) AS userProperty
WHERE
(_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
AND userProperty.key = 'firebase_exp_25'
GROUP BY
experimentVariant, eventName
Pour obtenir d'autres exemples de requêtes, consultez la section Explorer des exemples de requêtes.
Explorer des exemples de requêtes
Les sections suivantes fournissent des exemples de requêtes que vous pouvez utiliser pour extraire les données de test A/B Testing à partir des tables d'événements Google Analytics.
Extraire les valeurs d'écart type des achats et des tests de tous les tests
Vous pouvez utiliser les données des résultats du test pour vérifier de manière indépendante les résultats Firebase A/B Testing. L'instruction SQL BigQuery suivante extrait les variantes d'expérience, le nombre d'utilisateurs uniques dans chaque variante, et somme les revenus totaux des événements in_app_purchase et ecommerce_purchase, ainsi que les écarts-types pour toutes les expériences au cours de la période spécifiée comme dates de début et de fin de l'_TABLE_SUFFIX. Vous pouvez utiliser les données que vous obtenez de cette requête avec un générateur de signification statistique pour les tests t à extrémité unique afin de vérifier que les résultats fournis par Firebase correspondent à votre propre analyse.
Pour en savoir plus sur la façon dont A/B Testing calcule l'inférence, consultez la section Interpréter les résultats des tests.
/*
This query returns all experiment variants, number of unique users,
the average USD spent per user, and the standard deviation for all
experiments within the date range specified for _TABLE_SUFFIX.
*/
SELECT
experimentNumber,
experimentVariant,
COUNT(*) AS unique_users,
AVG(usd_value) AS usd_value_per_user,
STDDEV(usd_value) AS std_dev
FROM
(
SELECT
userProperty.key AS experimentNumber,
userProperty.value.string_value AS experimentVariant,
user_pseudo_id,
SUM(
CASE
WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
THEN event_value_in_usd
ELSE 0
END) AS usd_value
FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
CROSS JOIN UNNEST(user_properties) AS userProperty
WHERE
userProperty.key LIKE 'firebase_exp_%'
AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
GROUP BY 1, 2, 3
)
GROUP BY 1, 2
ORDER BY 1, 2;
Sélectionner les valeurs d'un test spécifique
L'exemple de requête suivant montre comment obtenir des données pour un test spécifique dans BigQuery. Cet exemple de requête renvoie le nom du test, les noms des variantes (y compris la référence), les noms des événements et leur nombre.
SELECT
'EXPERIMENT_NAME' AS experimentName,
CASE userProperty.value.string_value
WHEN '0' THEN 'Baseline'
WHEN '1' THEN 'VARIANT_1_NAME'
WHEN '2' THEN 'VARIANT_2_NAME'
END AS experimentVariant,
event_name AS eventName,
COUNT(*) AS count
FROM
`analytics_ANALYTICS_PROPERTY.events_*`,
UNNEST(user_properties) AS userProperty
WHERE
(_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
GROUP BY
experimentVariant, eventName