Save the date - Google I/O returns May 18-20. Register to get the most out of the digital experience: Build your schedule, reserve space, participate in Q&As, earn Google Developer profile badges, and more. Register now
本頁面由 Cloud Translation API 翻譯而成。
Switch to English

使用A / B測試創建應用內消息傳遞實驗

當您與用戶聯繫或開始新的營銷活動時,您需要確保正確無誤。 A / B測試可以通過在用戶群的選定部分上測試消息變體來幫助您找到最佳的措詞和表示形式。無論您的目標是更好地保留產品還是轉換產品,A / B測試都可以執行統計分析,以確定消息變體是否優於所選目標的對照組。

要使用對照組進行A / B測試功能變體,請執行以下操作:

  1. 創建實驗。
  2. 在測試設備上驗證您的實驗。
  3. 管理實驗。

創建實驗

通過使用Firebase應用內消息傳遞的實驗,您可以評估單個應用內消息的多種變體。

  1. 登錄到Firebase,更新數據共享設置,並確保啟用了數據共享。沒有數據共享,您的實驗將無法訪問分析數據。
  2. Firebase控制台導航欄的“參與”部分中,單擊“ A / B測試”
  3. 點擊創建實驗,然後在系統提示您提供要使用的服務時選擇應用內消息傳遞
  4. 或者,在Firebase控制台導航欄上,展開Grow ,然後單擊In-App Messaging 。然後點擊新建實驗
  5. 輸入實驗的名稱和可選說明,然後點擊下一步
  6. 填寫定位字段,首先選擇使用您的實驗的應用。您還可以通過選擇包括以下內容的選項來定位一部分用戶以參與您的實驗:

    • 版本:您的應用程序的一個或多個版本
    • 使用者對象: Analytics(分析)使用者過去是用來指定可能包含在實驗中的使用者
    • 用戶屬性:一個或多個Google Analytics(分析)用戶屬性,用於選擇可能包含在實驗中的用戶
    • 預測:通過機器學習預測的參與特定行為的用戶組
    • 國家/地區:一個或多個國家或地區,用於選擇可能包含在實驗中的用戶
    • 設備語言:一種或多種語言和語言環境,用於選擇實驗中可能包含的用戶
    • 首次打開:根據用戶首次打開您的應用來定位他們
    • 上次應用互動:根據用戶上一次與您的應用互動的時間來定位用戶
  7. 設置目標用戶百分比:選擇與您希望在對照組和實驗中的一個或多個變體之間平均分配的“目標用戶”下設置的條件相匹配的應用程序用戶群的百分比。這可以是0.01%到100%之間的任何百分比。對於每個實驗(包括重複的實驗),都會將百分比隨機分配給用戶。

  8. 在“變體”部分中,配置基線應用內消息,以使用用於正常應用內消息活動的消息設計界面發送給對照組。

  9. 要將變體添加到實驗中,請點擊添加變體。默認情況下,實驗有一個對照組和一個變體。

  10. (可選)為實驗中的每個變體輸入名稱,以替換變體A變體B等名稱。

  11. (可選)在“變體”部分的頂部,單擊“比較變體”按鈕以將另一個消息變體與基準消息並排比較。

  12. 為您的實驗定義一個目標指標,以便在評估實驗變體時使用,並從下拉列表中選擇任何所需的其他指標。這些指標包括內置目標(參與度,購買,收入,保留率等),Analytics轉換事件和其他Analytics(分析)事件。

  13. 配置實驗計劃:

    • 設置實驗的開始日期和結束日期。
    • 設置所有變體中觸發應用內消息的方式。
  14. 點擊查看以保存實驗。

每個項目最多允許您進行300個實驗,其中最多可以包含24個正在運行的實驗,其餘的都作為草稿或已完成。

在測試設備上驗證實驗

對於每個Firebase安裝,您都可以檢索與其關聯的安裝身份驗證令牌。您可以使用此令牌在安裝了應用的測試設備上測試特定的實驗變體。要在測試設備上驗證實驗,請執行以下操作:

  1. 獲取安裝身份驗證令牌,如下所示:

    迅速

    Installations.installations().authTokenForcingRefresh(true, completion: { (token, error) in
      if let error = error {
        print("Error fetching token: \(error)")
        return
      }
      guard let token = token else { return }
      print("Installation auth token: \(token)")
    })
    

    物鏡

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                                   completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
      if (error != nil) {
        NSLog(@"Error fetching Installation token %@", error);
        return;
      }
      NSLog(@"Installation auth token: %@", [result authToken]);
    }];
    

    爪哇

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
            .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
        @Override
        public void onComplete(@NonNull Task<InstallationTokenResult> task) {
            if (task.isSuccessful() && task.getResult() != null) {
                Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
            } else {
                Log.e("Installations", "Unable to get Installation auth token");
            }
        }
    });

    Kotlin + KTX

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */ true)
        .addOnCompleteListener { task ->
            if (task.isSuccessful) {
                Log.d("Installations", "Installation auth token: " + task.result?.token)
            } else {
                Log.e("Installations", "Unable to get Installation auth token")
            }
        }
  2. Firebase控制台導航欄上,單擊A / B測試
  3. 單擊草稿(和/或為遠程配置實驗運行),將鼠標懸停在實驗上,單擊上下文菜單( ),然後單擊管理測試設備
  4. 輸入測試設備的安裝身份驗證令牌,然後選擇要發送到該測試設備的實驗變體。
  5. 運行該應用程序,並確認測試設備上已接收到所選的變體。

要了解有關Firebase安裝的更多信息,請參閱管理Firebase安裝

管理實驗

無論您是使用Remote Config,Notifications作曲器還是Firebase應用內消息創建實驗,您都可以驗證並啟動實驗,在實驗運行時對其進行監視,並增加正在運行的實驗中包含的用戶數量。

實驗完成後,您可以記錄獲勝版本使用的設置,然後將這些設置推廣給所有用戶。或者,您可以運行另一個實驗。

開始實驗

  1. Firebase控制台導航欄的“參與”部分中,單擊“ A / B測試”
  2. 點擊草稿,然後點擊實驗標題。
  3. 要驗證您的應用是否包含將要包含在實驗中的用戶,請展開草稿詳細信息,然後在“定位和分發”部分中檢查數字是否大於0% (例如,符合條件的用戶佔1% )。
  4. 要更改實驗,請點擊編輯
  5. 要開始實驗,請點擊開始實驗。每個項目一次最多可以運行24個實驗。

監控實驗

實驗運行了一段時間後,您可以檢查其進度,並查看到目前為止參與實驗的用戶的結果。

  1. Firebase控制台導航欄的“參與”部分中,單擊“ A / B測試”
  2. 點擊運行,然後點擊實驗標題。在此頁面上,您可以查看有關正在運行的實驗的各種觀察到的和建模的統計信息,包括以下內容:

    • 與基線的差異百分比:衡量特定變量與基線(或對照組)相比指標改進的量度。通過將變體的值範圍與基線的值範圍進行比較來計算。
    • 超過基準的概率:給定變體超出所選指標的基準的估計概率。
    • 每位用戶的observed_metric :根據實驗結果,這是度量值隨時間推移將落入的預測範圍。
    • Total observed_metric :對照組或變體的觀察到的累積值。該值用於衡量每個實驗變體的效果,並用於計算改進值範圍超出基線的概率以及成為最佳變體的概率。根據要衡量的指標,此列可能會標記為“每位用戶的持續時間”,“每位用戶的收入”,“保留率”或“轉化率”。
  3. 實驗運行一段時間後(對於FCM和應用內消息傳遞,至少需要7天,對於遠程配置,至少需要14天),此頁面上的數據會指明哪個版本(如果有)是“領導者”。某些測量結果附有條形圖,以可視格式顯示數據。

向所有用戶推出實驗

實驗運行了足夠長的時間,以達到目標指標的“領導者”或獲勝變體之後,您可以將實驗推廣到100%的用戶。這使您可以選擇一個變體,以發布給所有前進的用戶。即使您的實驗沒有創造出明顯的贏家,您仍然可以選擇向所有用戶推出一個變體。

  1. Firebase控制台導航欄的“參與”部分中,單擊“ A / B測試”
  2. 點擊完成或正在運行,單擊您要向所有用戶推出的實驗,單擊上下文菜單( ),然後單擊推出變體
  3. 通過執行以下操作之一,向所有用戶推廣您的實驗:

    • 對於使用Notifications作曲器的實驗,請使用“轉出消息”對話框將消息發送給不屬於該實驗的其餘目標用戶。
    • 對於“遠程配置”實驗,請選擇一個變體以確定要更新的“遠程配置”參數值。創建實驗時定義的定位條件將作為新條件添加到您的模板中,以確保部署只會影響實驗所針對的用戶。單擊“ Remote Config”中的“ Review”以查看更改後,單擊“發布更改”以完成部署。
    • 對於應用內消息傳遞實驗,請使用該對話框確定哪些變量需要作為獨立的應用程序內消息傳遞活動推出。選擇後,您將被重定向到FIAM撰寫屏幕,以在發布之前進行任何更改(如果需要)。

展開實驗

如果您發現某個實驗沒有吸引到足夠多的用戶來進行A / B測試來宣布一位領導者,則可以增加實驗的分佈範圍,以擴大應用程序用戶群的比例。

  1. Firebase控制台導航欄的“參與”部分中,單擊“ A / B測試”
  2. 選擇您要編輯的運行實驗。
  3. 在“實驗”概述中,點擊上下文菜單( ),然後點擊編輯正在運行的實驗
  4. 定向”對話框顯示一個選項,用於增加當前正在運行的實驗中的用戶百分比。選擇一個大於當前百分比的數字,然後單擊“發布” 。實驗將按您指定的用戶百分比推出。

複製或停止實驗

  1. Firebase控制台導航欄的“參與”部分中,單擊“ A / B測試”
  2. 點擊完成或正在運行,將鼠標懸停在您的實驗上,點擊上下文菜單( ),然後點擊複製實驗停止實驗

用戶定位

您可以使用以下用戶定位條件來定位要包含在實驗中的用戶。

定位標準運營商筆記
版本包含
不含,
完全匹配
包含正則表達式
輸入您要在實驗中包含的一個或多個應用版本的值。

當使用任何contains不包含完全匹配運算符時,可以提供一個用逗號分隔的值列表。

使用contains regex運算符時,可以創建RE2格式的正則表達式。您的正則表達式可以匹配全部或部分目標版本字符串。您還可以使用^$定位符來匹配目標字符串的開頭,結尾或整個字符串。

用戶受眾包括所有
包括以下至少一項:
不包括所有,
不包含以下至少一項
選擇一個或多個Google Analytics(分析)受眾群體以定位可能包含在您的實驗中的用戶。
用戶屬性對於文字:
包含
不含,
完全匹配,
包含正則表達式

對於數字:
<,≤,=,≥,>
Google Analytics(分析)用戶屬性用於選擇可能包含在實驗中的用戶,以及用於選擇用戶屬性值的一系列選項。

在客戶端上,您只能為用戶屬性設置字符串值。對於使用數字運算符的條件,“遠程配置”服務將相應用戶屬性的值轉換為整數/浮點數。
使用contains regex運算符時,可以創建RE2格式的正則表達式。您的正則表達式可以匹配全部或部分目標版本字符串。您還可以使用^$定位符來匹配目標字符串的開頭,結尾或整個字符串。
預言不適用指定由Firebase預測定義的用戶組-例如,可能停止使用您的應用程序的用戶或可能進行應用程序內購買的用戶。選擇由Firebase預測工具定義的值之一。如果某個選項不可用,您可能需要通過訪問Firebase控制台的“預測”部分來選擇加入Firebase預測。
設備國家不適用用於選擇可能包含在實驗中的用戶的一個或多個國家或地區。
裝置語言不適用一種或多種語言和語言環境,用於選擇可能包含在實驗中的用戶。此定位條件僅適用於遠程配置。
第一次開放多於
少於
之間
根據用戶首次打開您的應用(以天為單位)定位目標用戶。此定位條件僅適用於Firebase應用內消息傳遞。
上次應用參與度多於
少於
之間
根據用戶上一次與您的應用互動的時間(以天為單位)來定位用戶。此定位條件僅適用於Firebase應用內消息傳遞。

A / B測試指標

創建實驗時,您可以選擇一個用於比較實驗變體的指標,還可以選擇其他指標進行跟踪,以幫助您更好地了解每個實驗變體並檢測任何重大副作用(例如應用崩潰)。下表提供有關如何計算目標指標和其他指標的詳細信息。

目標指標

公制描述
保留(1天)每天返回您的應用的用戶數量。
保留(2-3天)在2-3天內返回到您的應用的用戶數。
保留(4-7天)在4到7天內返回到您的應用的用戶數。
保留(8-14天)在8到14天內返回您的應用的用戶數。
保留時間(超過15天)上次使用您的應用15天或更長時間後返回到您的應用的用戶數。
通知已開啟跟踪用戶是否打開由Notifications作曲家發送的通知。
採購收入所有總價值ecommerce_purchasein_app_purchase事件。
估算的AdMob收入來自AdMob的估算收入。
預計總收入購買價值和AdMob估算收入的總和。
first_open當用戶在安裝或重新安裝應用程序後首次打開該應用程序時觸發的Analytics(分析)事件。用作轉化渠道的一部分。
notification_open當用戶打開由Notifications作曲家發送的通知時觸發的Analytics事件。用作轉化渠道的一部分。

其他指標

公制描述
無崩潰的用戶在實驗過程中,Firebase Crashlytics SDK檢測到未在您的應用程序中遇到錯誤的用戶所佔的百分比。
notification_dismiss取消由Notifications作曲家發送的通知時觸發的Analytics事件(僅適用於Android)。
notification_receive當應用程序在後台(僅適用於Android)時,當收到由Notifications作曲家發送的通知時觸發的Analytics(分析)事件。
os_update一個Analytics事件,用於跟踪設備操作系統更新到新版本的時間。要了解更多信息,請參閱自動收集事件
screen_view一個Analytics(分析)事件,用於跟踪您在應用中查看的屏幕。要了解更多信息,請參閱跟踪屏幕視圖
session_start一個Analytics(分析)事件,用於統計您應用中的用戶會話。要了解更多信息,請參閱自動收集事件
user_engagement當您的應用程序位於前台時,會定期觸發的Analytics(分析)事件。要了解更多信息,請參閱自動收集事件