本指南介绍了与 Remote Config 发布相关的关键概念,您可以:
了解发布组成员资格
当您创建新的发布并为其指定一个百分比数值后,在比对所启用功能的性能时,Firebase 会将该百分比数值的受众群体划分到对照组,以获得准确的结果;该过程涉及以下组。
- 启用组:分配给该组的用户设备会收到您在发布中配置的值。
- 对照组:分配给该组的用户设备会收到它们本应从 Remote Config 接收的值,而不是发布值。
- 未分配组:该组中的用户设备会收到它们本应从 Remote Config 接收的值,且这些值没有用在发布比较结果中。
也就是说,如果您向 2% 的用户推出一项发布,则这些用户会被添加到启用组,还有另外 2% 的用户会被添加到对照组(以便进行比对);最后 96% 的用户则被划入未分配组。
这种方法可确保对收到发布值的用户和设备的性能与未收到发布值的对象的性能进行公平的对比,便于您在发布结果页面上高效地确定该项发布是成功还是失败。
在发布的所有阶段,发布组分配始终保持一致。也就是说,如果您将该同一发布的百分比数值降至 0%,所有用户都将恢复为接收 Remote Config 模板中定义的参数值。如果您之后决定提高发布百分比数值,之前启用组或对照组中的用户将返回到他们最初加入的组,并收到相应组应接收的值。
在您验证自己的发布是成功的并决定向全部的目标用户全面推出发布后,Firebase 将不再使用对照组,并且所有目标用户和设备都会收到发布值。
应在何时使用发布及何时使用 A/B 测试?
Remote Config 发布和 A/B Testing 测试适合的使用场景略有不同,不过可以将这两者互补使用。
发布是逐步推出的,通常用于向选定的一组用户发布新功能。您可能希望将特定国家/地区的用户作为受众群体,或是推出特定版本的应用。在这种情况下,您可以使用发布来降低风险,发布让您能够在实际的环境中测试新功能,同时实施严格的控制措施,以便您了解该功能的表现情况。您还可以监控在增加了新功能的负载后,后端服务的执行情况如何,并大致了解使用情况,以便在确保发布中所做的更改具备扩展条件之后,再面向更广泛的受众群体推出发布。
发布非常适合实现如下新功能或更改:有重大功能性更改的新功能、可能导致不可预测结果的更改,或者可能影响后端基础架构、服务或外部 API 的更改。
A/B Testing 测试让您能够呈现某项功能或应用元素的多个版本,例如,您可以更新界面外观和风格、更改广告文案,或者更新游戏关卡难度。然后,您可以向用户展示不同的变体版本,以便根据您选择的指标(例如,用户互动度、广告点击次数和收益),了解哪个变体版本能带来更好的结果。
您可以使用 A/B Testing 测试改进数据驱动型决策、优化应用功能及了解用户偏好。它非常适合有多个可比较的变体版本和非常具体的目标的情况。例如,如果您想要微调应用以改进某个特定的指标(例如测试哪个横幅广告展示位置能带来更多点击量),A/B Testing 测试就非常合适。
您还可以将 Remote Config 发布和 A/B Testing 整合到一个总体策略中:首先,为一组有限数量的用户创建一个 A/B 测试,以确定哪个变体版本能为您的关键指标带来最佳结果。然后,在 A/B Testing 确定领先变体后,用胜出变体创建一个发布。之后,逐步增加受众群体的数量,同时监控该变体版本的稳定性和关键指标,最后,在您对其表现完全放心之后,向所有用户推出该发布。
了解发布结果
在您推出一个发布后,您应该能够立即看到该发布的结果。
您可以通过多种方式查看结果:
- 在参数页面中,展开您为该发布配置的参数,然后在发布下方点击查看结果。
- 在发布页面中,点击该发布的名称。
您可以通过“结果”页面顶部的应用选择器选择特定应用的视图。结果分为以下几个部分:
- 摘要部分,其中显示了您配置的发布百分比,并提供了可让您回滚或修改发布的选项。如果展开该部分,则会显示发布配置详情的概览及更改历史记录。
用户数部分,其中显示了以下组中已获取发布模板的唯一应用安装的数量:
- 启用组:满足安装目标发布的条件且已获取发布值的应用实例的数量。
- 对照组:满足安装目标发布的条件且已获取不变值的应用实例的数量。
- 目标组:满足您的发布中设置的条件且应收到发布值或不变值的实例的估算总数。
如需了解详情,请参阅了解发布组成员资格。
Crashlytics 和 Analytics 部分,其中显示了启用组与对照组的对比数据。您可以过滤过去 24 小时、自上次发布以来或过去 7 天收集到的数据。默认视图为“过去 24 小时”。
发布的 Crashlytics 结果
您可以查看在发布期间发生的崩溃、非严重错误和 ANR 的总数。每个结果类别都会显示一个条形图,用于对比满足发布条件的启用组用户和对照组用户的原始总数。
- 崩溃:显示启用组与对照组的崩溃次数和所占百分比,以及遇到崩溃问题的唯一身份用户数量。
- 非严重错误:显示非严重错误的数量和所占百分比,以及遇到非严重错误的唯一身份用户数量。
- ANR(仅限 Android 应用):显示“应用无响应”事件的数量和所占百分比,以及遇到过一次或多次 ANR 事件的唯一身份用户数量。
如需详细了解崩溃问题,您可以点击在 Crashlytics 中查看更多信息。这会打开一个预先应用了过滤条件的 Crashlytics 页面,其中显示了您在查看其结果的发布的相关信息。Crashlytics 页面上的发布结果会针对获取过相应变体版本(启用组或对照组)的所有用户衡量应用表现。您可以选择查看对照组崩溃情况和/或启用组崩溃情况。
发布的 Google Analytics 结果
Google Analytics 发布结果部分会以图表视图的形式针对获取过启用组或对照组相应变体版本的所有用户详细地对比 Analytics 指标。该部分提供以下三个指标:
- 总收入:显示总收入,包括广告收入和购买收入,以美元计。您可以过滤结果,以显示专门针对广告收入或购买收入的结果。
- 总转化次数:显示所有转化事件总和的原始计数。您可以按自己想要突出显示的转化事件类型过滤结果。
- 总互动时长:显示用户与某个发布变体版本交互的总互动时长。总互动时长以“小时:分钟:秒”的格式显示。例如,01:31:28。相应图表显示了您在 Crashlytics 部分上方所选时间段内的数据。