使用 A/B 測試創建應用內消息傳遞實驗

當您接觸用戶或開始新的營銷活動時，您希望確保做對了。 A/B 測試可以通過在用戶群的選定部分測試消息變體來幫助您找到最佳措辭和呈現方式。無論您的目標是更好地保留報價還是轉化率，A/B 測試都可以執行統計分析，以確定消息變體是否優於您選擇的目標的控制組。

要使用控制組進行 A/B 測試功能變體，請執行以下操作：

1. 創建您的實驗。
2. 在測試設備上驗證您的實驗。
3. 管理您的實驗。

創建實驗

使用 Firebase 應用內消息傳遞的實驗可讓您評估單個應用內消息的多個變體。

1. 登錄 Firebase，更新數據共享設置並確保已啟用數據共享。如果沒有數據共享，您的實驗將無法訪問分析數據。
2. 在Firebase 控制台導航欄的Engage部分，點擊A/B 測試。
3. 單擊創建實驗，然後在提示您選擇要實驗的服務時選擇應用內消息傳遞。
4. 或者，在Firebase 控制台導航欄上，展開Grow ，然後點擊In-App Messaging 。然後點擊新建實驗。
5. 為您的實驗輸入名稱和可選的描述，然後點擊下一步。

6. 填寫定位字段，首先選擇使用您的實驗的應用程序。您還可以通過選擇包括以下內容的選項來定位一部分用戶參與您的實驗：

   • 版本：您的應用程序的一個或多個版本
   • 用戶受眾：用於定位可能包含在實驗中的用戶的分析受眾
   • 用戶屬性：一個或多個 Analytics 用戶屬性，用於選擇可能包含在實驗中的用戶
   • 預測：機器學習預測的用戶群體參與特定行為
   • 國家/地區：一個或多個國家或地區，用於選擇可能包含在實驗中的用戶
   • 設備語言：用於選擇可能包含在實驗中的用戶的一種或多種語言和區域設置
   • 首次打開：根據用戶首次打開您的應用程序的時間定位用戶
   • 上次應用互動：根據用戶上次與您的應用互動的時間來定位用戶

7. 設置目標用戶的百分比：選擇與目標用戶下設置的條件匹配的應用用戶群百分比，您希望在控制組和實驗中的一個或多個變體之間平均分配。這可以是 0.01% 到 100% 之間的任何百分比。每個實驗（包括重複實驗）的百分比隨機重新分配給用戶。

8. 在變體部分，配置基線應用內消息以使用您用於正常應用內消息傳遞活動的消息設計界面發送到控制組。

9. 要向您的實驗添加變體，請點擊添加變體。默認情況下，實驗有一個對照組和一個變體。

10. （可選）為實驗中的每個變體輸入一個名稱以替換名稱Variant A 、 Variant B等。

11. （可選）在“變體”部分的頂部，單擊“比較變體”按鈕以將另一個消息變體與基線消息並排比較。

12. 為您的實驗定義一個目標指標，以便在評估實驗變體時使用，以及下拉列表中的任何所需的附加指標。這些指標包括內置目標（參與度、購買、收入、保留等）、Analytics 轉化事件和其他 Analytics 事件。

13. 為實驗配置調度：

    • 設置實驗的開始和結束日期。
    • 設置如何在所有變體中觸發應用內消息。

14. 單擊Review以保存您的實驗。

每個項目最多允許進行 300 個實驗，其中最多可以包含 24 個正在運行的實驗，其餘為草稿或已完成。

在測試設備上驗證您的實驗

對於每個 Firebase 安裝，您都可以檢索與其關聯的安裝身份驗證令牌。您可以使用此令牌在安裝了您的應用的測試設備上測試特定的實驗變體。要在測試設備上驗證您的實驗，請執行以下操作：

1. 獲取安裝授權令牌如下：

   迅速

   Installations.installations().authTokenForcingRefresh(true, completion: { (token, error) in
     if let error = error {
       print("Error fetching token: \(error)")
       return
     }
     guard let token = token else { return }
     print("Installation auth token: \(token)")
   })
   

   目標-C

   [[FIRInstallations installations] authTokenForcingRefresh:true
                                                  completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
     if (error != nil) {
       NSLog(@"Error fetching Installation token %@", error);
       return;
     }
     NSLog(@"Installation auth token: %@", [result authToken]);
   }];
   

   爪哇

   FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
           .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
       @Override
       public void onComplete(@NonNull Task<InstallationTokenResult> task) {
           if (task.isSuccessful() && task.getResult() != null) {
               Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
           } else {
               Log.e("Installations", "Unable to get Installation auth token");
           }
       }
   });
   MainActivity.java

   科特林+KTX

   FirebaseInstallations.getInstance().getToken(/* forceRefresh */ true)
       .addOnCompleteListener { task ->
           if (task.isSuccessful) {
               Log.d("Installations", "Installation auth token: " + task.result?.token)
           } else {
               Log.e("Installations", "Unable to get Installation auth token")
           }
       }
   MainActivity.kt

2. 在Firebase 控制台導航欄上，點擊A/B 測試。
3. 單擊草稿（和/或運行遠程配置實驗），將鼠標懸停在您的實驗上，單擊上下文菜單 ( more_vert )，然後單擊管理測試設備。
4. 輸入測試設備的安裝身份驗證令牌，然後選擇要發送到該測試設備的實驗變體。
5. 運行應用程序並確認所選變體正在測試設備上接收。

要了解有關 Firebase 安裝的更多信息，請參閱管理 Firebase 安裝。

管理您的實驗

無論您是使用遠程配置、通知編輯器還是 Firebase 應用內消息創建實驗，您都可以驗證並開始實驗，在實驗運行時監控實驗，並增加正在運行的實驗中包含的用戶數量。

實驗完成後，您可以記下獲勝變體使用的設置，然後將這些設置推廣給所有用戶。或者，您可以運行另一個實驗。

開始實驗

1. 在Firebase 控制台導航欄的Engage部分，點擊A/B 測試。
2. 單擊草稿，然後單擊實驗的標題。
3. 要驗證您的應用程序是否包含將包含在您的實驗中的用戶，請展開草稿詳細信息並檢查定位和分發部分中是否存在大於0%的數字（例如，符合條件的用戶數為1% ）。
4. 要更改您的實驗，請點擊編輯。
5. 要開始您的實驗，請點擊開始實驗。每個項目一次最多可以運行 24 個實驗。

監控實驗

實驗運行一段時間後，您可以檢查其進度並查看到目前為止參與實驗的用戶的結果。

1. 在Firebase 控制台導航欄的Engage部分，點擊A/B 測試。

2. 點擊Running ，然後點擊實驗的標題。在此頁面上，您可以查看有關正在運行的實驗的各種觀察和建模統計數據，包括以下內容：

   • % 與基線的差異：與基線（或對照組）相比，給定變體的度量改進的度量。通過將變體的值範圍與基線的值範圍進行比較來計算。
   • 擊敗基線的概率：給定變體擊敗所選指標的基線的估計概率。
   • observed_metric per user ：根據實驗結果，這是指標值隨著時間的推移將落入的預測範圍。
   • 總observed_metric ：對照組或變體的觀察累積值。該值用於衡量每個實驗變體的執行情況，並用於計算改進、值範圍、超過基線的概率和成為最佳變體的概率。根據衡量的指標，此列可能標記為“每位用戶的持續時間”、“每位用戶的收入”、“留存率”或“轉化率”。

3. 在您的實驗運行一段時間後（對於 FCM 和應用內消息傳遞至少 7 天，或者對於遠程配置至少 14 天），此頁面上的數據表明哪個變體（如果有）是“領導者”。一些測量值附有條形圖，以可視化格式呈現數據。

向所有用戶推出一項實驗

在實驗運行足夠長的時間後，對於目標指標，您有一個“領導者”或獲勝變體，您可以將實驗推廣到 100% 的用戶。這允許您選擇一個變體以發布給所有用戶。即使您的實驗沒有創造出明顯的贏家，您仍然可以選擇向所有用戶推出一個變體。

1. 在Firebase 控制台導航欄的Engage部分，點擊A/B 測試。
2. 單擊“已完成”或“正在運行” ，單擊要向所有用戶推出的實驗，單擊上下文菜單 ( more_vert )，然後單擊“推出變體” 。

3. 通過執行以下操作之一向所有用戶推出您的實驗：

   • 對於使用通知編輯器的實驗，使用“推出”消息對話框將消息發送給未參與該實驗的其餘目標用戶。
   • 對於遠程配置實驗，選擇一個變體以確定要更新的遠程配置參數值。創建實驗時定義的定位條件將作為新條件添加到您的模板中，以確保推出僅影響實驗定位的用戶。單擊Remote Config 中的 Review查看更改後，單擊Publish changes完成部署。
   • 對於應用內消息實驗，使用對話框來確定需要作為獨立應用內消息活動推出的變體。選擇後，您將被重定向到 FIAM 撰寫屏幕以在發布前進行任何更改（如果需要）。

展開實驗

如果您發現實驗沒有為 A/B 測試帶來足夠的用戶來宣布領先者，您可以增加實驗的分發範圍，以覆蓋更大比例的應用用戶群。

1. 在Firebase 控制台導航欄的Engage部分，點擊A/B 測試。
2. 選擇要編輯的正在運行的實驗。
3. 在實驗概覽中，單擊上下文菜單 ( more_vert )，然後單擊編輯運行實驗。
4. “定位”對話框顯示一個選項，用於增加當前正在運行的實驗中的用戶百分比。選擇一個大於當前百分比的數字，然後點擊發布。實驗將被推送到您指定的用戶百分比。

複製或停止實驗

1. 在Firebase 控制台導航欄的Engage部分，點擊A/B 測試。
2. 單擊已完成或正在運行，將鼠標懸停在您的實驗上，單擊上下文菜單 ( more_vert )，然後單擊複製實驗或停止實驗。

用戶定位

您可以使用以下用戶定位條件來定位要包含在實驗中的用戶。

A/B 測試指標

創建實驗時，您可以選擇用於比較實驗變體的指標，也可以選擇其他指標進行跟踪，以幫助您更好地了解每個實驗變體並檢測任何顯著的副作用（例如應用程序崩潰）。下表提供了有關如何計算目標指標和其他指標的詳細信息。

目標指標

其他指標