透過 A/B 測試建立應用程式內通訊實驗

每個專案最多可建立 300 個實驗，其中最多可包含 24 個執行中的實驗，其餘則為草稿或已完成的實驗。

在測試裝置上驗證實驗

您可以針對每個 Firebase 安裝作業，擷取與其相關聯的安裝驗證權杖。您可以使用這個權杖，在已安裝應用程式的測試裝置上測試特定實驗變化版本。如要在測試裝置上驗證實驗，請按照下列步驟操作：

1. 取得安裝授權憑證，如下所示：

   Swift

   do {
     let result = try await Installations.installations()
       .authTokenForcingRefresh(true)
     print("Installation auth token: \(result.authToken)")
   } catch {
     print("Error fetching token: \(error)")
   }

   Objective-C

   [[FIRInstallations installations] authTokenForcingRefresh:true
                                                  completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
     if (error != nil) {
       NSLog(@"Error fetching Installation token %@", error);
       return;
     }
     NSLog(@"Installation auth token: %@", [result authToken]);
   }];

   Java

   FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
           .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
       @Override
       public void onComplete(@NonNull Task<InstallationTokenResult> task) {
           if (task.isSuccessful() && task.getResult() != null) {
               Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
           } else {
               Log.e("Installations", "Unable to get Installation auth token");
           }
       }
   });
   MainActivity.java

   Kotlin

   val forceRefresh = true
   FirebaseInstallations.getInstance().getToken(forceRefresh)
       .addOnCompleteListener { task ->
           if (task.isSuccessful) {
               Log.d("Installations", "Installation auth token: " + task.result?.token)
           } else {
               Log.e("Installations", "Unable to get Installation auth token")
           }
       }
   MainActivity.kt

2. 在 Firebase 控制台導覽列中，按一下「A/B 測試」。
3. 按一下「草稿」 (針對遠端設定實驗，請按一下「執行中」)，將滑鼠游標懸停在實驗上，按一下內容選單 (more_vert)，然後點選「管理測試裝置」。
4. 輸入測試裝置的安裝驗證權杖，並選擇要傳送至該測試裝置的實驗變化版本。
5. 執行應用程式，確認測試裝置已收到所選變化版本。

如要進一步瞭解 Firebase 安裝作業，請參閱「管理 Firebase 安裝作業」。

管理實驗

無論您是使用 Remote Config、通知編輯器或 Firebase In-App Messaging 建立實驗，都可以驗證並開始實驗、在實驗執行期間監控實驗，以及增加實驗中納入的使用者人數。

實驗完成後，您可以記下勝出變化版本使用的設定，然後向所有使用者推出這些設定。或者，您也可以執行其他實驗。

開始實驗

1. 在 Firebase 控制台導覽選單的「Engage」部分，按一下 A/B Testing。
2. 按一下「草稿」，然後點選實驗的標題。
3. 如要驗證應用程式是否有可納入實驗的使用者，請展開草稿詳細資料，並檢查「指定目標和發布」部分是否有大於 0% 的數字 (例如 符合條件的使用者有 1% )。
4. 如要變更實驗，請按一下「編輯」。
5. 如要開始實驗，請按一下「開始實驗」。每個專案一次最多可執行 24 項實驗。

監控實驗

實驗執行一段時間後，您可以查看進度，並瞭解參與實驗的使用者目前的結果。

1. 在 Firebase 控制台導覽選單的「Engage」部分，按一下 A/B Testing。

2. 按一下「進行中」，然後點選或搜尋實驗的標題。您可以在這個頁面上查看各種觀察和模擬的統計資料，瞭解目前執行中的實驗，包括：

   • 與基準的落差百分比：評估指定變化版本指標改善幅度的指標，與基準值相比。計算方式是將變化版本的值範圍與基準值範圍進行比較。
   • 勝過基準的機率：指定變化版本勝過所選指標基準值的預估機率。
   • observed_metric 每位使用者：根據實驗結果，這是指標值隨著時間推移而落在的預測範圍。
   • 總計 observed_metric：觀察到的基準或變體累積值。這個值用於評估每個實驗變化版本的成效，並用於計算改善幅度、值範圍、超越基準值的機率和成為最佳變化版本的機率。視所評估的指標而定，這個資料欄可能會標示為「每位使用者的時間長度」、「每位使用者的收益」、「留存率」或「轉換率」。

3. 實驗執行一段時間後 (FCM 和 In-App Messaging 至少 7 天，Remote Config 至少 14 天)，這個頁面上的資料會指出哪個變化版本 (如果有) 是「領先者」。部分評估項目會搭配長條圖，以視覺格式呈現資料。

向所有使用者推出實驗

實驗執行一段時間後，如果目標指標有「領先者」(即勝出版本)，即可向所有使用者發布實驗。您可以選取要向所有使用者發布的變化版本。即使實驗結果沒有明顯的勝出組合，您仍可向所有使用者發布變化版本。

1. 在 Firebase 控制台導覽選單的「Engage」部分，按一下 A/B Testing。
2. 按一下「已完成」或「正在執行」，然後點選要發布給所有使用者的實驗，接著按一下內容選單 (more_vert)「推出變化版本」。

3. 如要向所有使用者推出實驗，請執行下列任一操作：

   • 如果實驗使用通知編輯器，請使用「推出訊息」對話方塊，將訊息傳送給未參與實驗的其他指定使用者。
   • 針對 Remote Config 實驗，請選取變化版本，決定要更新哪些 Remote Config 參數值。建立實驗時定義的指定條件，在範本中會顯示為新條件，確保該版推出後只會影響實驗所指定的使用者。點選「在遠端設定中查看」並檢查變更後，請按一下「發布變更」完成導入。
   • 針對 In-App Messaging 實驗，請使用對話方塊決定要以獨立 In-App Messaging 廣告活動推出哪個變化版本。選取後，系統會將您重新導向至 FIAM Compose 畫面，讓您在發布前進行任何必要的變更 (如有需要)。

擴大實驗範圍

如果您發現實驗無法吸引足夠的使用者，無法讓 A/B Testing 宣告勝出組合，可以增加實驗的發布範圍，以便觸及更多應用程式使用者。

1. 在 Firebase 控制台導覽選單的「Engage」部分，按一下 A/B Testing。
2. 選取要編輯的進行中實驗。
3. 在「實驗總覽」中，按一下內容選單 (more_vert)，然後點選「編輯執行中的實驗」。
4. 「指定目標」對話方塊會顯示一個選項，可增加參與實驗的使用者百分比。選取大於目前百分比的數字，然後按一下「發布」。實驗將推送至您指定的使用者百分比。

複製或停止實驗

1. 在 Firebase 控制台導覽選單的「Engage」部分，按一下 A/B Testing。
2. 按一下「已完成」或「正在執行」，將游標懸停在實驗上，然後按一下內容功能表 (more_vert)，再按一下「複製實驗」或「停止實驗」。

指定使用者

您可以使用下列使用者指定條件，指定要納入實驗的使用者。

A/B Testing 項指標

建立實驗時，您會選擇用來決定勝出組合的主要或目標指標。您也應追蹤其他指標，進一步瞭解各個實驗變化版本的成效，並追蹤各個變化版本可能不同的重要趨勢，例如使用者留存率、應用程式穩定性和應用程式內購收益。您最多可以在實驗中追蹤五個非目標指標。

• 預估總收益：查看兩種變化版本的應用程式內購和廣告收益總和有何差異
• Retention (1 day)、Retention (2-3 days)、Retention (4-7 days)，以便追蹤每日/每週的使用者續留率

下表詳細說明如何計算目標指標和其他指標。

「目標」指標

其他指標