使用A / B測試創建應用內消息傳遞實驗

當您與用戶聯繫或開始新的營銷活動時，您需要確保正確無誤。 A / B測試可以通過在用戶群的選定部分上測試消息變體來幫助您找到最佳的措詞和表示形式。無論您的目標是更好地保留產品還是轉換產品，A / B測試都可以進行統計分析，以確定消息變體是否優於所選目標的對照組。

要使用對照組進行A / B測試功能變體，請執行以下操作：

1. 創建實驗。
2. 在測試設備上驗證實驗。
3. 管理實驗。

創建實驗

通過使用Firebase應用內消息傳遞的實驗，您可以評估單個應用內消息的多種變體。

1. 登錄Firebase，更新數據共享設置 ，並確保啟用了數據共享。沒有數據共享，您的實驗將無法訪問分析數據。
2. 在Firebase控制台導航欄上，展開增長 ，然後單擊A / B測試 。
3. 點擊創建實驗 ，然後在系統提示您提供要使用的服務時選擇應用內消息傳遞。
4. 或者，在Firebase控制台導航欄上，展開Grow ，然後單擊In-App Messaging 。然後點擊新建實驗 。
5. 輸入實驗的名稱和可選說明 ，然後點擊下一步 。

6. 填寫“ 定位”字段，首先選擇使用實驗的應用。您還可以通過選擇以下一個或多個選項來定位一部分用戶以參與實驗：

   • 版本：您的應用程序的一個或多個版本
   • 使用者對象： Analytics（分析）使用者過去曾指定實驗中可能包含的使用者
   • 用戶屬性：一個或多個Google Analytics（分析）用戶屬性，用於選擇實驗中可能包含的用戶
   • 預測：通過機器學習預測的參與特定行為的用戶組
   • 國家/地區：一個或多個國家或地區，用於選擇實驗中可能包含的用戶
   • 設備語言：一種或多種語言和語言環境，用於選擇實驗中可能包含的用戶
   • 首次打開：根據用戶首次打開您的應用來定位他們
   • 上一次應用參與度：根據用戶上一次與您的應用進行互動的時間來定位用戶

7. 設置目標用戶的百分比：輸入與您希望在對照組和實驗中的一個或多個變體之間平均分配的“ 目標用戶”下設置的條件相匹配的應用程序用戶群百分比。這可以是0.01％到100％之間的任何百分比。對於每個實驗（包括重複實驗），將百分比隨機分配給用戶。

8. 在“ 變體”部分中，配置基線應用內消息，以使用用於正常應用內消息活動的消息設計界面發送給對照組。

9. 要將變體添加到實驗中，請點擊添加變體 。默認情況下，實驗有一個對照組和一個變體。

10. （可選）為實驗中的每個變體輸入名稱，以替換變體A ， 變體B等名稱。

11. （可選）在“ 變體”部分的頂部，單擊“ 比較變體”按鈕以將另一個消息變體與基準消息並排比較。

12. 為您的實驗定義一個目標指標，以便在評估實驗變體以及下拉列表中的任何其他所需指標時使用。這些指標包括內置目標（參與度，購買，收入，保留率等），Analytics轉換事件和其他Analytics（分析）事件。

13. 配置實驗計劃：

    • 設置實驗的開始和結束日期。
    • 設置所有變體中觸發應用內消息的方式。

14. 點擊查看以保存實驗。

每個項目最多允許您進行300個實驗，其中最多可以包含24個正在運行的實驗，其餘的則作為草稿或已完成。

在測試設備上驗證實驗

每個Firebase應用程序安裝都有與之關聯的實例ID令牌（或註冊令牌）。您可以使用此令牌在安裝了應用的測試設備上測試特定的實驗變體。要在測試設備上驗證實驗，請執行以下操作：

1. 獲取實例ID令牌，如下所示：

   迅速

   InstanceID.instanceID().instanceID { (result, error) in
     if let error = error {
       print("Error fetching remote instance ID: \(error)")
     } else if let result = result {
       print("Remote instance ID token: \(result.token)")
       self.instanceIDTokenMessage.text  = "Remote InstanceID token: \(result.token)"
     }
   }
   

   物鏡

   [[FIRInstanceID instanceID] instanceIDWithHandler:^(FIRInstanceIDResult * _Nullable result,
                                                       NSError * _Nullable error) {
     if (error != nil) {
       NSLog(@"Error fetching remote instance ID: %@", error);
     } else {
       NSLog(@"Remote instance ID token: %@", result.token);
       NSString* message =
         [NSString stringWithFormat:@"Remote InstanceID token: %@", result.token];
       self.instanceIDTokenMessage.text = message;
     }
   }];
   

   爪哇

   21fc3e9c7​​6

   Kotlin + KTX

   第93章
2. 在Firebase控制台導航欄上，單擊A / B測試 。
3. 點擊草稿 ，然後點擊實驗標題。
4. 在“ 實驗概述”標題下，點擊詳細信息 。
5. 點擊管理測試設備 ，然後輸入測試設備的實例ID令牌，然後選擇要發送到該測試設備的實驗變體。
6. 運行應用程序，並確認測試設備上已接收到所選的變體。

要了解有關實例ID令牌的更多信息，請參閱FIRInstanceID （iOS）或FirebaseInstanceId （Android）。

管理實驗

無論您是使用Remote Config，Notifications作曲家還是Firebase應用內消息傳遞來創建實驗，您都可以驗證並啟動實驗，在實驗運行時對其進行監視並增加正在運行的實驗中包含的用戶數量。

實驗完成後，您可以記錄獲勝版本使用的設置，然後將這些設置推廣給所有用戶。或者，您可以運行另一個實驗。

開始實驗

1. 在Firebase控制台導航欄上，展開增長 ，然後單擊A / B測試 。
2. 點擊草稿 ，然後點擊實驗標題。
3. 要驗證您的應用是否包含將要包含在實驗中的用戶，請在“ 定位和分發”部分中檢查數字是否大於0％ （例如， 符合條件的用戶中有1％ ）。
4. 要更改實驗，請點擊編輯 。
5. 要開始實驗，請點擊開始實驗 。每個項目一次最多可以運行24個實驗。

監控實驗

實驗運行了一段時間後，您可以檢查其進度，並查看到目前為止參與實驗的用戶的結果。

1. 在Firebase控制台導航欄上，單擊“ 增長” ，然後單擊“ A / B測試” 。

2. 點擊運行 ，然後點擊實驗標題。在此頁面上，您可以查看有關正在運行的實驗的各種統計信息，包括目標指標和其他指標。對於每個指標，可以使用以下信息：

   • 改進 ：相對於基線（或對照組），給定變體的指標改進的度量。通過將變體的值範圍與基線的值範圍進行比較來計算。
   • 超過基準的概率：給定變體超出所選指標的基準的估計概率。
   • 最佳變體的可能性：對於所選指標，給定變體擊敗其他變體的估計概率。
   • 每位用戶的價值 ：根據實驗結果，這是指標值隨時間下降的預測範圍。
   • 總值 ：對照組或變異體的觀察到的累積值。該值用於衡量每個實驗變體的效果，並用於計算改進 ， 值範圍 ， 超出 基線的 概率以及成為最佳變體的概率 。根據要衡量的指標，此列可能會標記為“每位用戶的持續時間”，“保留率”或“轉化率”。

3. 要增加實驗中包含的用戶數量，請點擊增加分配 ，然後選擇增加的百分比以將更多符合條件的用戶添加到實驗中。

4. 實驗運行一段時間後（對於FCM和應用內消息傳遞，至少需要7天，對於遠程配置，至少需要14天），此頁面上的數據會指出哪個版本（如果有）是“領導者”。某些測量伴隨有條形圖，以可視格式顯示數據。

向所有用戶推出實驗

實驗運行了足夠長的時間後，您就可以針對目標指標獲得“領導者”或獲勝變體，然後可以將該實驗推廣到100％的用戶。這使您可以選擇一個變體發布給所有前進的用戶。即使您的實驗沒有創造出明顯的贏家，您仍然可以選擇向所有用戶推出一個變體。

1. 在Firebase控制台導航欄上，單擊“ 增長” ，然後單擊“ A / B測試” 。
2. 點擊完成或正在運行 ，單擊要向所有用戶推出的實驗，單擊上下文菜單（ more_vert ），然後單擊推出變體 。

3. 通過執行以下操作之一，向所有用戶推廣您的實驗：

   • 對於使用Notifications作曲器的實驗，請使用“轉出消息”對話框將消息發送給不屬於該實驗的其餘目標用戶。
   • 對於遠程配置實驗，請使用該對話框來確定要為所有用戶更改的遠程配置參數值。
   • 對於應用內消息傳遞實驗，請使用該對話框來確定哪些變量需要作為獨立的應用程序內消息傳遞活動推出。選擇之後，您將被重定向到FIAM撰寫屏幕以在發布之前進行任何更改（如果需要）。

展開實驗

如果您發現某個實驗沒有吸引足夠的用戶進行A / B測試來宣布領導者，則可以增加實驗的分佈範圍，以達到該應用程序用戶群的更大比例。

1. 在Firebase控制台導航欄上，單擊“ 增長” ，然後單擊“ A / B測試” 。
2. 點擊運行 ，將鼠標懸停在實驗上，點擊上下文菜單（ more_vert ），然後點擊增加分佈 。
3. 控制台顯示一個帶有選項的對話框，用於增加當前正在運行的實驗中的用戶百分比。輸入一個大於當前百分比的數字，然後單擊發送 。實驗將按您指定的用戶百分比推出。

複製或停止實驗

1. 在Firebase控制台導航欄上，單擊“ 增長” ，然後單擊“ A / B測試” 。
2. 點擊完成或運行 ，將鼠標懸停在實驗上，點擊上下文菜單（ more_vert ），然後點擊複製或停止 。

用戶定位

您可以使用以下用戶定位條件來定位要包含在實驗中的用戶。

A / B測試指標

創建實驗時，您可以選擇一個用於比較實驗變體的指標，還可以選擇其他指標進行跟踪，以幫助您更好地理解每個實驗變體並檢測任何重大副作用（例如應用程序崩潰）。下表提供有關如何計算目標指標和其他指標的詳細信息。

目標指標

其他指標