Catch up on everthing we announced at this year's Firebase Summit. Learn more

Firebase A/B Testing

Firebase A/B Testing 以 Google 优化工具为基础，可让您轻松地运行、分析并大规模开展产品和营销实验，从而帮助您改进应用。它使您能够测试应用界面、功能或互动广告系列的更改，以便在发布之前确认这些更改是否确实使关键指标（如收入和用户留存率）较更改前有所改观。

您可以通过 FCM 创建 A/B Testing，以测试不同的营销消息；也可以通过 Remote Config 创建 A/B Testing，以测试应用内所做的更改。

创建 Remote Config 实验 创建消息传递实验

主要功能

运行测试并提升您的产品使用体验 通过 Remote Config 创建实验，在实验的变体中更改应用的行为和外观，并测试哪种产品使用体验能最有效地带来您最关注的效果。
使用 Notifications Composer 寻找再次吸引用户的方法 使用 A/B Testing 帮助您找出最有效的措辞和消息设置来吸引用户使用您的应用。
安全地发布新功能 发布新功能之前，最好先让一小部分用户参与测试，确保测试结果符合您的目标。等到对 A/B Testing 结果有了信心后，再向全部用户发布新功能。
定位“预测”的用户群 借助 Firebase Predictions 功能，您可以针对预计会执行特定操作的用户运行 A/B 测试，这类操作包括花钱消费（或不花钱）、停止使用您的应用，以及执行您通过 Analytics 定义的任何其他转化事件等。

工作原理

创建实验后，您可以就一项可测试操作对一个或多个变体进行测试，然后衡量它们对您的预期目标（如提高应用内购买量）的达成情况。您可以使用以“AND”逻辑串联的多个条件来定义目标用户群；例如，您可以限定目标用户群为特定应用版本的用户，且这些用户既属于某个 Analytics 受众群体（如“崩溃用户”），又属于 Firebase Predictions 功能基于流失概率自动创建的某个用户群。

使用 Remote Config，您可以在多个变体中对几个参数的更改进行实验，以便以各种方式跨各组变体更改应用的行为和外观。您可以使用这项功能做出细微更改（如修改最佳配色方案和菜单选项位置）或重大更改（如测试全新的功能或界面设计）。使用 Notifications Composer，您可以运行实验以找到要在通知消息中使用的正确措辞。

无论您的实验使用的是 Remote Config 还是 Notifications Composer，您都可以监控实验（直到获得一组有效的结果），然后找出领先变体（即在完成目标方面表现最佳的变体）。您可以在一小部分用户群体中开始实验，然后随着时间的推移而逐步增加参与实验的用户比例。如果在第一个实验中没有找出比现有应用更能实现您的目标的变体，您可以开始新一轮实验，以找到改进应用的最佳方法。

您还可以对照您的目标跟踪其他指标（应用崩溃、用户留存率和互动情况），便于您更好地了解实验结果及其对应用的使用体验所产生的影响。

实现方法

将 Remote Config 或 Firebase Cloud Messaging 添加至您的应用 如果您的应用已经在使用 Remote Config 或 Cloud Messaging（或两者都使用），您可以跳到下一步。
定义您要通过 A/B 测试进行评估的变体 无论您是要做细微更改还是要添加新界面或功能，如果您可以使用 Remote Config 来控制此类更改，就可以通过 A/B Testing 针对此类更改测试多个变体。

您还可以搭配使用 Notifications Composer 和 A/B Testing，针对再互动广告系列测试多个变体，然后再向所有用户发布广告系列。
定义成功的衡量标准 在使用 Notifications Composer 的实验中，您可以使用 Analytics 事件来定义实验目标并比较实验变体。在 Remote Config 实验中，您可以使用 Analytics 事件或转化漏斗来定义实验目标。
监控您的实验以找到胜出变体 您可以只在几个用户中开始实验，如果早期结果还不错，再逐步扩大用户范围。监控实验时，您可以看到是否有变体导致了更多的应用崩溃或对应用的使用体验产生了其他影响，还可以看到哪个变体最接近您的目标。

后续步骤