關於遠端設定推出作業

本指南提供與遠端設定推出作業相關的重要概念資訊,以便您可以:

瞭解推出群組成員

當您建立新的推出作業並指派百分比時,Firebase 會在比較已啟用功能的成效時,將大小相等的部分目標對象納入控制組,以取得準確結果,進而產生下列群組。

  • 已啟用:指派給這個群組的使用者裝置會收到您在推出期間設定的值。
  • 控制組:指派給這個群組的使用者裝置會接收來自遠端設定的值,而非發布值。
  • 未指派:這個群組中的使用者裝置會收到從遠端設定收到的值,但「並未」在推出比較結果時使用。

也就是說,如果您向 2% 的使用者推出,系統會將他們加入「已啟用」群組,另外 2% 的使用者則會加進控制組,以供比較。96% 的使用者仍為「未指派」。

這個方法可確保接收推出值的使用者與裝置效能和沒有推出值的裝置之間的效能公平比較,並協助您在「推出結果」頁面中有效判斷推出作業是否成功或失敗。

所有推出階段的推出作業群組指派設定都一致。也就是說,在同一個推出作業中,如果您把百分比降為 0%,所有使用者就會恢復接收遠端設定範本中定義的參數值。如果您之後決定提高推出百分比,先前已啟用或控制組的使用者會返回原先指派的群組,會收到與這些群組一致的值。

確認版本已順利發布,並決定向所有目標使用者全面推出後,Firebase 就不會再使用控制組,而「所有」目標使用者和裝置都會收到推出值。

何時應使用推出作業和 A/B 版本測試?

遠端設定推出和 A/B 測試適用於略有不同的用途,並可搭配補充方式使用。

推出是逐步發布,通常用於向特定一群使用者發布新功能。建議您將目標設為特定國家/地區的使用者,或應用程式的特定版本。如要降低風險,請在實際環境中使用發布功能,並在設有嚴格的控制項的情況下測試新功能,以便瞭解這項功能的表現。您也可以透過新功能新增的負載,以及預估用量來監控後端服務的效能,確保在向更廣大的目標對象發布前,也能保有變更的擴充性。

如果您要實作的新功能會大幅變更功能、可能導致無法預期的結果,或是變更可能會影響後端基礎架構、服務或外部 API,就很適合採用推出發布功能。

A/B 測試可讓您顯示某功能或應用程式元素的多個版本,例如更新使用者介面的外觀和風格、變更廣告文案,以及更新遊戲關卡難度。然後,您可以向使用者提供不同的變化版本,瞭解哪個選項可根據所選的指標 (例如使用者參與度、廣告點擊和收益) 改善成效。

使用 A/B 測試進行資料導向的決策、最佳化,並瞭解使用者的偏好。當您有多個可比較的選項和明確目標時,就非常適合使用 A/B 測試。舉例來說,如果您想微調應用程式來改善特定指標 (例如測試哪個橫幅廣告刊登位置可獲得更多點擊),A/B 測試功能就是您的最佳選擇。

此外,建議您在整體策略中結合遠端設定推出和 A/B 測試:首先,建立由少數使用者組成的 A/B 測試,以確定可針對重點指標產生最佳結果的變化版本。接著,在 A/B 測試確定勝出版本後,使用勝出的變化版本建立推出作業。當您逐漸增加曝光的使用者數量,並在成功取得成效後,即可監控穩定性和重要指標,然後再全面發布。

瞭解推出結果

發布之後,您應該就能立即開始查看結果。

您可以透過多種方式查看結果:

  • 在「Parameters」頁面中,展開您為推出作業設定的參數,然後在推出作業下方按一下「View results」
  • 在「推出作業」頁面中,按一下推出作業名稱。

您可以利用結果頁面頂端的應用程式選取器,選取特定應用程式的檢視畫面。結果分為多個部分:

  • 「Summary」區段,顯示已設定的「推出百分比」,並提供復原或編輯推出作業的功能。展開後會顯示推出設定詳細資料的「總覽」和「變更記錄」
  • 「Users」(使用者) 區段顯示在下列群組中擷取了推出範本的不重複應用程式安裝次數:

    • 已啟用:符合目標推出條件,且已擷取推出值的應用程式執行個體數量。
    • 控制:符合目標推出條件且已擷取未變更值的應用程式執行個體數量。
    • 目標:符合您在推出作業中設定的條件預估的執行個體總數,其中應會收到推出作業或維持不變的值。

    詳情請參閱「瞭解推出群組成員」。

  • CrashlyticsAnalytics (分析) 部分會顯示已啟用和控制組的比較資料。您可以篩選「過去 24 小時」、「自上次發布後」或「過去 7 天」收集到的資料。這是預設檢視畫面。

推出作業的 Crashlytics 結果

您可以查看推出期間發生的「當機」、「非嚴重」和「ANR」總數。每個結果類別都會顯示一個長條圖,比較符合推出條件的 EnabledControl 使用者的原始總數。

  • 當機次數:顯示「已啟用」和「控制組」中遇到當機情形的不重複使用者人數與百分比,以及曾遇到當機情形的不重複使用者人數。
  • 一般錯誤:顯示非嚴重錯誤的數量和百分比,以及遇到一般錯誤的不重複使用者人數。
  • ANR (僅限 Android 應用程式):顯示「應用程式無回應」事件的數量和百分比,以及遇到一或多個 ANR 事件的不重複使用者人數。

如要進一步瞭解當機事件,請按一下「在 Crashlytics 中查看更多」。系統隨即開啟 Crashlytics 頁面,其中含有您要檢查結果的推出作業篩選器。Crashlytics 頁面的推出結果會評估已「曾」看到不同變化版本 (EnabledControl) 的所有使用者。您可以選擇查看控制組的當機事件和/或已啟用的群組當機情形。

推出作業的 Google Analytics (分析) 成效

Google Analytics (分析) 推出結果部分會在圖表檢視中,針對所有看過「已啟用」或「控制組」群組的使用者,比較其 Analytics (分析) 指標。此報表提供以下三項指標:

  • 總收益:顯示總收益,包括廣告收益和購買收益 (以美元為單位)。您可以篩選結果,只顯示廣告收益或購買收益的結果。
  • 轉換總數:顯示所有轉換事件總和的原始計數。您可以根據要醒目顯示的轉換篩選結果。
  • 總參與時間:顯示使用者參與其中一個推出變數的總參與時間。總參與時間是以「小時:分鐘:秒」格式顯示。例如 01:31:28。圖表顯示了您在 Crashlytics 區段上方所選時間範圍的資料。

後續步驟