Firebase A/B 测试
Firebase A/B 测试由Google Optimize提供支持,可帮助您轻松运行、分析和扩展产品和营销实验,从而优化您的应用体验。它使您能够测试对应用程序的用户界面、功能或参与度活动的更改,以查看它们是否真的在您的关键指标(如收入和留存率)上发挥作用,然后再广泛推出。
A/B 测试与 FCM 一起使用,以便您可以测试不同的营销信息,并与远程配置一起使用,以便您可以在应用程序中测试更改。
关键能力
测试并改善您的产品体验 | 使用 Remote Config 创建实验,以更改您的应用在实验中的变体的行为和外观,并测试哪种产品体验最有效地推动您最关心的结果。 |
使用通知编辑器寻找重新吸引用户的方法 | 使用 A/B 测试来帮助您找到最有效的措辞和消息传递设置,以将用户带入您的应用程序。 |
安全推出新功能 | 不要在没有确保它首先满足您的目标的一小部分用户的情况下推出新功能。一旦您对 A/B 测试结果充满信心,就可以将该功能推广给所有用户。 |
使用 Google Analytics 数据定位用户群 | 使用 Google Analytics 数据在您的目标客户上运行 A/B 测试。例如,您可以定位运行与特定 Google Analytics(分析)用户属性相匹配的特定应用版本、平台、语言和人口统计的用户子集。 |
它是如何工作的?
创建实验时,您会测试可测试操作的一个或多个变体,并衡量变体在实现您想要实现的目标(例如促进应用内购买)方面的表现。您的目标用户组可以由多个标准与“AND”逻辑链接;例如,您可以将组限制为属于特定应用程序版本的用户,这些用户同时属于 Analytics 受众,例如与客户设置的自定义 Google Analytics 用户属性匹配的“崩溃用户”。
借助远程配置,您可以尝试对多个变体中的多个参数进行更改,以在每个变体组中以多种方式改变应用的行为和外观。您可以将其用于细微的更改,例如修补最佳配色方案和菜单选项的位置,或者用于测试全新功能或 UI 设计等重大更改。使用通知编辑器,您可以尝试为通知消息找到正确的措辞。
无论您的实验使用远程配置还是通知编辑器,您都可以监控您的实验,直到获得一组有效的结果,然后确定领导者,即最能实现您的目标的变体。您可以从一小部分用户群开始实验,然后随着时间的推移增加该百分比。如果您的第一个实验没有发现比您的应用当前更好地实现您的目标的变体,您可以开始新一轮的实验以找到改进您的应用的最佳方法。
您还可以跟踪其他指标(应用程序崩溃、留存率和参与度)以及您的目标,以便更好地了解实验结果以及它如何影响使用应用程序的体验。
实施路径
将 Remote Config 或 Firebase Cloud Messaging 添加到您的应用 | 如果您的应用程序已经使用远程配置或云消息传递(或两者),您可以跳到下一步。 | |
定义要使用 A/B 测试评估的变体。 | 无论您的更改是细微的还是添加了新的 UI 或功能,如果您可以使用远程配置控制该更改,您可以使用 A/B 测试测试该更改的多个变体。 您还可以将 A/B 测试与通知编辑器一起使用,在您向所有用户推出之前,在您的再互动活动中测试多个变体。 | |
定义如何衡量成功 | 通过使用通知编辑器的实验,您可以使用 Analytics 事件来定义实验目标并比较实验变体。通过远程配置实验,您可以使用 Analytics 事件或转化渠道来定义实验目标。 | |
监控您的实验以找到获胜的变体 | 您可以仅从少数用户开始实验,然后在早期结果看起来不错的情况下将其推广给更多用户。在监控实验时,您会看到某些变体是否会导致更多应用崩溃或对应用体验产生其他影响,并且您还可以看到哪个变体在实现目标方面取得的进展最大。 |
下一步
- 查看 A/B 测试视频系列,涵盖从基础到高级主题的所有内容。
- 开始为Remote Config或Notifications composer创建实验。
- 详细了解与 A/B 测试交互的 Firebase 功能: Google Analytics 、 Firebase 远程配置、通知消息、 AdMob和远程配置个性化。
- 了解有关Optimize的更多信息,它使用与 A/B 测试相同的复杂贝叶斯统计数据。