關於 Firebase A/B 測試

為協助您盡量提高測試結果的關聯性和實用性，本頁提供 Firebase A/B 測試運作方式的詳細資訊。

樣本數量

開始實驗前，不需要先確認樣本大小下限，才能使用 Firebase A/B 測試推論功能。一般而言，您應選擇自己願意的最大實驗曝光量。樣本大小越大，就越有可能判定具有統計顯著性的結果，尤其是在變化版本之間的效能差異較小時。您也可以參考線上樣本數計算工具，根據實驗的特徵找出建議的樣本數。

修改實驗

您可以編輯執行中實驗的所選參數，包括：

  • 實驗名稱
  • 說明
  • 指定條件
  • 子類值

若要編輯實驗，請按照下列步驟進行：

  1. 開啟您要修改的實驗結果頁面。
  2. 從「更多」 選單中選取「編輯執行中的實驗」。
  3. 進行變更，然後按一下「發布」。

請注意，在實驗執行期間變更應用程式行為可能會影響結果。

遠端設定變化版本指派邏輯

系統會根據變化版本權重，以及實驗 ID 和使用者 Firebase 安裝 ID 的雜湊值，將符合所有實驗指定條件 (包括曝光百分比) 的使用者指派給實驗變化版本。

Google Analytics (分析) 目標對象會有延遲，使用者一開始符合目標對象條件時無法立即使用：

  • 新的目標對象建立後，可能需要 24 至 48 小時才會累積新使用者。
  • 新使用者通常在符合資格後的 24 到 48 小時內就能註冊符合資格的目標對象。

針對時間有限的指定目標，請考慮使用 Google Analytics (分析) 使用者屬性或內建指定目標選項，例如國家/地區、語言和應用程式版本。

使用者進入實驗後，系統會永久將他們指派給實驗變化版本，並在每次實驗時接收參數值，前提是使用者屬性有所變更，且不再符合實驗指定條件。

啟用事件

實驗啟用事件會將實驗評估範圍限制在觸發啟用事件的應用程式使用者。實驗啟用事件不會對應用程式擷取的實驗參數造成任何影響；所有符合實驗指定條件的使用者都會收到實驗參數。因此，請務必選擇在擷取並啟用實驗參數後、尚未使用實驗參數修改應用程式行為前發生的啟用事件。

變化版本權重

您可以在建立實驗時變更預設變化版本權重，將較多的實驗使用者放入變化版本。

解讀測試結果

Firebase A/B 測試會使用「頻率學派推論」，協助您瞭解只有隨機挑選而造成實驗結果的可能性。可能性是以 Proability 值或 p 值表示。p 值是兩個變化版本之間的效能差異可能因隨機機率而產生差異的機率 (以 0 到 1 之間的值進行衡量)。A/B 測試的顯著性等級為 0.05，因此：

  • 如果 p 值小於 0.05，表示變化版本之間存在統計顯著差異，意味著變化不太可能是隨機發生。
  • 如果 p 值大於 0.05，表示變化版本之間的差異不具統計顯著性。

實驗資料每天會更新一次，且上次更新時間會顯示在實驗結果頁面頂端。

實驗結果圖表會顯示所選指標的累計平均值。舉例來說，如果您以指標追蹤每位使用者的廣告收益，則會顯示觀察到的每位使用者收益，而如果您追蹤的是「不受當機影響的使用者」，這項功能會追蹤未遇到當機情形的使用者百分比。這項資料是從實驗開始時起算。

結果會分為「觀察到的資料」和「推論資料」。觀察到的資料是直接透過 Google Analytics (分析) 資料計算而得，推論資料可提供數值和信賴區間，協助您評估觀測資料的統計顯著程度。

每個指標都會顯示以下統計資料：

觀察到的資料

  • 追蹤指標的總價值 (留存使用者數、當機的使用者人數、總收益)
  • 指標專屬費率 (留存率、轉換率、每位使用者收益)
  • 變化版本與基準之間的差異百分比 (升幅)

推論資料

  • 95% CI (平均值差異) 顯示的間隔，將會包含追蹤指標「true」值的信賴水準為 95%。舉例來說，如果實驗結果預估總收益介於 $5 至 $10 美元之間，預估總收益為 95%，則平均值介於 $5 至 $10 美元之間有 95% 的機率會出現 95%。如果持續整合範圍包含 0，系統就不會偵測到變化版本與基準之間的統計顯著差異。

    信賴區間值會以與追蹤指標相符的格式顯示。例如，使用者留存時間 (以 HH:MM:SS 表示)、每位使用者廣告收益的美元，以及轉換率百分比。

  • P 值：代表變化版本與基準之間沒有真實差異的機率。也就是說，任何觀察到的差異都可能是隨機性造成的。p 值越低，觀測到效能日後仍然存在的可信度越高。值在 0.05 以下表示顯著差異，且結果因偶然而變得低的可能性。P 值是以單尾測試為依據，其中 Variant 值大於基準值。Firebase 針對連續變數 (數值，例如收益) 和轉換資料 (例如使用者留存、未發生當機情形的使用者、觸發 Google Analytics (分析) 事件的使用者) 使用「不相等的變異數 t 測試」，以及轉換資料的「比例 Z 檢定」。

實驗結果可提供每個實驗變化版本的重要深入分析資料，包括：

  • 每項實驗指標與直接評估基準的比較結果 (即實際觀察到的資料) 與基準的差別
  • 變化版本與基準之間觀測到的差異可能因隨機性 (p 值) 而產生的機率
  • 可能包含變化版本與每個實驗指標基準之間「實際」效能差異的範圍，這是瞭解「最佳情況」和「最糟情況」效能情況的方法

解讀採用 Google 最佳化工具的實驗結果

2023 年 10 月 23 日前開始的實驗 Firebase A/B 測試結果採用 Google 最佳化工具。Google 最佳化工具使用貝葉斯推論，從實驗資料中產生出具參考價值的統計資料。

結果會拆分為「觀察到的資料」和「模擬資料」。觀察到的資料是直接透過數據分析資料計算而得，模型化資料是從貝葉斯模型的應用階段衍生到觀察到的資料。

每個指標都會顯示以下統計資料：

觀察到的數據

  • 總價值 (變化版本中所有使用者的指標總和)
  • 平均值 (變化版本中使用者的指標平均值)
  • 與基準的落差百分比

以模型產生的資料

  • 超越基準的機率：這個變化版本的指標高於基準的機率
  • 與基準的差異百分比：根據變化版本和基準指標的中位數預估值計算
  • 指標範圍：最有可能找到該指標值的範圍，信賴水準為 50% 和 95%

整體而言，實驗結果提供了實驗中每個變化版本的三項重要洞察資料：

  1. 每項實驗指標與直接評估基準的比較結果 (即實際觀測資料) 與基準的差距
  2. 根據貝葉斯推論得出的結果 (個別實驗指標「可能優於基準」或「最佳」的程度)
  3. 每個實驗指標的可能範圍，都是依據貝氏推論所得出 (「最佳情況」和「最糟情況」情境 (可信間隔) 計算而得)

主要決策

對於使用頻率學派推論的實驗，Firebase 會宣告，當目標指標與目標指標的基準在統計上出現顯著性差異時，Firebase 會宣告該變化版本可引發該變化版本。如果多個變化版本符合此條件，系統會選擇 p 值最低的變化版本。

對於使用 Google 最佳化工具的實驗，Firebase 宣告若變化版本的成效優於主要指標的基準變化版本，就代表該變化版本明顯勝出。如果多個變化版本符合「明顯勝出」條件，只有整體成效最佳的變化版本會標示為「明顯勝出者」。

由於主要目標僅以主要目標為依據，因此您應考慮所有相關因素並檢查次要指標的結果，再決定是否要推出主要變化版本。建議您考量變更設定的預期升幅、風險 (例如改善信賴區間的下限，以進行改善)，以及相較於主要目標以外的指標所受到的影響。

舉例來說，如果您的主要指標是不受當機影響的使用者，而版本 A 較基準明顯領先其他指標，但變化版本 A 使用者留存指標追蹤基準使用者留存率，則建議您先進一步調查再進一步推出版本 A。

您可以根據主要和次要指標的整體效能評估結果，推出任何變化版本，而不只是主要變化版本。

實驗時間長度

Firebase 建議持續進行實驗，直到滿足下列條件為止：

  1. 實驗已累積足夠的資料，可提供有用的結果。 實驗和結果資料會每天更新一次。您可以使用線上樣本數計算工具來評估建議的實驗樣本數。
  2. 實驗執行時間夠長，可以確保能代表具代表性的使用者樣本，並評估長期成效。一般遠端設定實驗的建議執行時間至少為兩週。

實驗開始後，系統最多會處理 90 天實驗資料。90 天過後，實驗就會自動停止。 Firebase 控制台中不會再更新實驗結果，實驗也會停止傳送實驗專屬參數值。此時，用戶端會根據遠端設定範本中設定的條件開始擷取參數值。系統會保留歷來實驗資料，直到您刪除實驗為止。

BigQuery 結構定義

除了在 Firebase 控制台中查看 A/B 測試實驗資料之外，您還可以在 BigQuery 中檢查及分析實驗資料。雖然 A/B 測試沒有獨立的 BigQuery 資料表，但實驗和變化版本成員資格會儲存在 Analytics (分析) 事件資料表的每個 Google Analytics (分析) 事件中。

包含實驗資訊的使用者屬性格式為 userProperty.key like "firebase_exp_%" 或 userProperty.key = "firebase_exp_01"，其中 01 是實驗 ID，而 userProperty.value.string_value 則包含實驗變化版本的索引 (從零開始)。

您可以使用這些實驗使用者屬性來擷取實驗資料。 方便您以多種不同的方式劃分實驗結果，並獨立驗證 A/B 測試的結果。

首先，請按照本指南的說明完成下列步驟：

  1. 在 Firebase 控制台中啟用 Google Analytics (分析) 的 BigQuery Export
  2. 使用 BigQuery 存取 A/B 測試資料
  3. 探索查詢範例

在 Firebase 控制台中啟用 Google Analytics (分析) 的 BigQuery Export

如果您使用的是 Spark 方案，可以使用 BigQuery 沙箱免費使用 BigQuery (須遵守沙箱限制)。詳情請參閱定價和 BigQuery 沙箱。

首先，請確認將 Analytics (分析) 資料匯出至 BigQuery：

  1. 開啟「Integrations」分頁。您可以在 Firebase 控制台中依序點選 >「專案設定」存取該分頁。
  2. 如果您已在其他 Firebase 服務中使用 BigQuery，請按一下「Manage」。如果沒有，請按一下「連結」。
  3. 參閱「將 Firebase 連結至 BigQuery」一文，然後點選「下一步」。
  4. 在「Configure integration」部分中，啟用「Google Analytics」切換按鈕。

  5. 選取地區並選擇匯出設定。

  6. 按一下「連結至 BigQuery」。

視您選擇匯出資料的方式而定，系統最多可能需要一天才能提供資料表。如要進一步瞭解如何將專案資料匯出至 BigQuery，請參閱「將專案資料匯出至 BigQuery」。

在 BigQuery 中存取 A/B 測試資料

查詢特定實驗的資料前，需要取得下列部分或全部內容，以便在查詢中使用：

  • 實驗 ID：您可以從「實驗總覽」頁面的網址取得這個 ID。舉例來說，如果您的網址看起來是 https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25，則實驗 ID 為 25。
  • Google Analytics (分析) 資源 ID：這是 9 位數的 Google Analytics (分析) 資源 ID。此 ID 會顯示在 Google Analytics (分析) 中；當您展開專案名稱，顯示 Google Analytics (分析) 事件表格名稱 (project_name.analytics_000000000.events) 時，該名稱也會顯示在 BigQuery 中。
  • 實驗日期：如要撰寫更快速、更有效率的查詢，建議您將查詢限制在包含實驗資料的 Google Analytics (分析) 每日事件資料表分區 (以 YYYYMMDD 後置字串識別的資料表) 中。因此，如果您的實驗執行期間為 2024 年 2 月 2 日至 2024 年 5 月 2 日，請指定 _TABLE_SUFFIX between '20240202' AND '20240502'。如需範例，請參閱「選取特定實驗的值」。
  • 事件名稱：通常這些名稱會與您在實驗中設定的目標指標對應。例如 in_app_purchase 事件、ad_impression 或 user_retention 事件。

收集產生查詢所需的資訊後，您可以：

  1. 在 Google Cloud 控制台中開啟 BigQuery。
  2. 選擇專案，然後選取「建立 SQL 查詢」。
  3. 新增查詢。如需要執行查詢的範例，請參閱探索查詢範例。
  4. 按一下「執行」。

使用 Firebase 控制台自動產生的查詢查詢實驗資料

如果您採用 Blaze 方案，「實驗總覽」頁面會提供範例查詢，以便傳回目前所查看實驗的實驗名稱、變化版本、事件名稱及事件數量。

如何取得並執行自動產生的查詢：

  1. 在 Firebase 控制台中開啟 A/B 測試，然後選取要查詢的 A/B 測試實驗，開啟實驗總覽。
  2. 在「選項」選單的「BigQuery 整合」下方，選取「查詢實驗資料」。系統隨即會在 Google Cloud 控制台的 BigQuery 中開啟專案，並提供基本查詢供您用來查詢實驗資料。

以下範例顯示了一個名為「冬季歡迎實驗」的三個變化版本 (包括基準) 的實驗產生的查詢。這個報表會傳回每個事件的有效實驗名稱、變化版本名稱、不重複事件和事件計數。請注意，查詢產生器會在資料表內直接開啟，因此不會在資料表名稱中指定專案名稱。

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

如需其他查詢範例，請前往探索查詢範例。

探索查詢範例

以下各節提供查詢範例，協助您從 Google Analytics (分析) 事件資料表擷取 A/B 測試實驗資料。

擷取所有實驗的購買和實驗標準差值

您可以使用實驗結果資料獨立驗證 Firebase A/B 測試結果。下列 BigQuery SQL 陳述式會擷取實驗變化版本、每個變化版本中的不重複使用者人數，以及 in_app_purchase 和 ecommerce_purchase 事件的總收益，以及針對指定時間範圍內 (為 _TABLE_SUFFIX 開始與結束日期) 的所有實驗，提供標準差。您從這項查詢取得的資料，可以與單尾 T 測試的統計顯著性產生器搭配使用，驗證結果 Firebase 是否與您自己的分析結果相符。

如要進一步瞭解 A/B 測試如何計算推論，請參閱解讀測試結果。

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

選取特定實驗的值

以下查詢範例說明如何在 BigQuery 中取得特定實驗的資料。以下查詢範例會傳回實驗名稱、變化版本名稱 (包括基準)、事件名稱和事件計數。

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName

限制

A/B 測試最多只能有 300 項實驗、24 項執行中的實驗和 24 項實驗草稿。這些限制會與遠端設定推出功能共用。舉例來說，假設您有兩個執行中的推出作業和三個執行中的實驗，最多可以再執行 19 個推出作業或實驗。

  • 如果您達到 300 的總實驗上限或 24 份草稿的實驗數量上限，則必須先刪除現有實驗，才能建立新實驗。

  • 如果達到 24 個的實驗和推出上限，就必須先停止執行中的實驗或推出作業，再開始新的實驗。

實驗最多可有 8 個變化版本 (包括基準)，每個變化版本最多可有 25 個參數。實驗的大小上限為 200 KiB其中包括變化版本名稱、變化版本參數和其他設定中繼資料。