Firebase A/B Testing

Firebase A/B Testing可簡化產品和行銷實驗的執行、分析及調整方式,協助您改善應用程式體驗。您可以測試應用程式的 UI、功能或參與度廣告活動變更,在廣泛推出之前,先瞭解變更對重要指標 (例如收益和留存率) 的影響。

A/B Testing 可與 FCM 搭配使用,方便您測試不同的行銷訊息,也可與 Remote Config 搭配使用,方便您測試應用程式中的變更。


準備好了嗎?選擇產品:

建立Remote Config實驗 建立訊息實驗

主要功能

測試及改善產品體驗 使用 Remote Config 建立實驗,變更實驗中各變化版本的應用程式行為和外觀,並測試哪種產品體驗最能有效提升您最重視的成效。
使用通知編輯器,找出重新吸引使用者的做法 使用 A/B Testing ,找出最有效的字詞和訊息設定,吸引使用者進入應用程式。
安全地推出新功能 請先確認新功能符合目標,再向一小群使用者推出。確認 A/B Testing 結果符合預期後,即可向所有使用者推出這項功能。
目標使用者群組 運用應用程式使用者資料,執行指定 A/B 測試。 舉例來說,您可以指定執行特定應用程式版本、平台、語言的使用者子集,或選取符合Google Analytics 使用者屬性值的使用者。

運作原理

建立實驗時,請建立多個使用者體驗變化版本,並評估這些版本在達成目標 (例如提高應用程式內購量) 方面的成效。您可以使用「AND」邏輯串連多個條件,定義目標使用者群組。舉例來說,您可以將群組限制為特定應用程式版本的使用者,且這些使用者同時屬於 Analytics 目標對象 (例如「當機使用者」),並符合用戶端設定的自訂 Google Analytics 使用者屬性。

A/B 測試實驗會使用 Google Analytics 指定使用者,並評估結果,藉此測試遠端設定和訊息動作。

透過 Remote Config,您可以實驗變更一或多個參數,藉此調整應用程式的行為和外觀。您可以運用這項功能進行細微變更,例如調整最佳色彩配置和選單選項的位置,也可以進行重大變更,例如測試全新的功能或 UI 設計。您可以使用通知編輯器進行實驗,找出合適的通知訊息用語。

無論實驗是使用 Remote Config 還是通知編輯器,您都可以監控實驗,直到找出領先者 (最能達成目標的變化版本)。您可以先針對一小部分使用者族群進行實驗,再逐步提高比例。如果第一次實驗未發現比基準更符合目標的變化版本,可以開始新一輪實驗,找出改善應用程式的最佳方法。

您也可以追蹤其他指標 (應用程式當機、留存率和收益),以便更瞭解實驗結果,以及實驗對應用程式使用體驗的影響。

實作路徑

在應用程式中新增 Remote Config 或 Firebase Cloud Messaging 如果應用程式已使用 Remote Config 或 Cloud Messaging (或兩者),可以跳到下一個步驟。
定義想利用 A/B 測試評估的變化版本。 無論變更幅度很小,還是新增 UI 或功能,只要您可以使用 Remote Config 控制變更,就能透過 A/B Testing 測試該變更的多個變化版本。

您也可以搭配使用 A/B Testing 和通知編輯器,在向所有使用者推出再參與式廣告活動前,先測試多個變化版本。
定義如何評估成效 如果實驗使用通知編輯器,您可以透過Analytics 事件定義實驗目標,並比較實驗變化版本。 在 Remote Config 實驗中,您可以使用 Analytics 事件或轉換漏斗定義實驗目標。
監控實驗以找出勝出版本 您可以先針對少數使用者進行實驗,如果初期測試成效良好,再向更多使用者推出。監控實驗時,您可以查看某些變化版本是否導致更多應用程式當機,或對應用程式體驗造成其他影響,也可以查看哪個變化版本最能達成目標。

後續步驟