使用 A/B 测试来创建 Firebase 远程配置实验

当您更新应用并使用 Firebase 远程配置将更新推送到具有活跃用户群的应用时,您希望确保这项更新符合用户的需求。您可能对以下事项不太确定:

  • 实现某项功能以优化用户体验的最佳方式。 很多时候,只有应用在应用商店的评分下降了,应用开发者才知道他们的用户不喜欢某个新功能或更新后的用户体验。A/B 测试可以帮助衡量您的用户是否喜欢新的功能变体,还是更喜欢当前版本的应用。另外,将您的大多数用户包含在对照组中可以确保您用户群的大部分用户能继续使用您的应用,而不会在实验结束前体验到任何应用行为或外观方面的变化。
  • 为某个业务目标优化用户体验的最佳方式。 有时候,您想要实施产品更改以尽可能提高收入或留存率等指标。通过 A/B 测试,您可以设定您的业务目标,然后 Firebase 会进行统计分析,以确定在所选的目标方面,某个变体的效果是否优于对照组。

要利用对照组对功能变体进行 A/B 测试,请执行以下操作:

  1. 创建实验。
  2. 在测试设备上验证您的实验。
  3. 管理实验。

创建实验

远程配置实验可用于评估一个或多个远程配置参数的多个变体。

  1. 登录 Firebase,更新数据共享设置,并确保已启用数据共享。如果未启用数据共享,您的实验将无法访问分析数据。
  2. Firebase 控制台导航栏上,依次点击发展Remote Config(远程配置),然后点击屏幕右侧的 A/B 测试
  3. 点击远程配置实验标题旁边的创建
  4. 填写以下字段以定义实验基本信息

    • 名称:输入实验的名称。
    • 说明(可选):输入用于描述实验的附加文本。
    • 目标用户:选择使用您的实验的应用。您还可以选择下列一个或多个选项来定位一部分用户,让这些用户参与您的实验:
      • 版本:应用的一个或多个版本
      • 用户受众群体:用于定位可参与实验的用户的 Analytics 受众群体
      • 用户属性:用于选择可参与实验的用户的一个或多个 Analytics 用户属性
      • 设备所在国家/地区:用于选择可参与实验的用户的一个或多个国家或地区
      • 设备语言:用于选择可参与实验的用户所用的一种或多种语言和语言区域
    • 目标用户百分比:输入目标用户百分比,以指定与您在目标用户下设置的条件匹配的用户中,您要将其中多少比例的用户平均分配到实验中的对照组以及一个或多个变体。此值可以是介于 0.01% 到 100% 之间的任何百分比值。系统会为每个实验(包括复制的实验)的用户随机重新分配百分比。
  5. 要选择或创建一个或多个要实验的参数,请点击添加参数,然后输入或选择 Firebase 控制台中已存在的某个参数名称。您还可以创建一个之前未在 Firebase 控制台中使用过的参数,但该参数必须存在于您的应用中才能发挥作用。您可以重复此步骤为您的实验添加多个参数。

  6. (可选)要在实验中添加多个变体,请点击添加变体。默认情况下,实验有一个对照组和一个变体。

  7. (可选)输入实验中每个变体的名称,以替换名称变体 A变体 B 等。

  8. 更改特定变体的一个或多个参数。对于未参与实验的用户和已参与实验的用户,任何未更改的参数的值都是相同的。

  9. 为您的实验定义目标:

    • 要优化指标,请点击选择目标指标,然后选择评估实验中的变体时要使用的指标。这些指标包括内置目标(参与度、购买量、收入、留存时间等)、Analytics 转化事件和其他 Analytics 事件。
    • (可选)要设置一个激活事件以确保您的实验中只会对首次触发了某个 Analytics 事件的用户进行计数统计,请点击高级选项,然后选择某个 Analytics 转化事件或另一个 Analytics 事件。

    要详细了解用于衡量变体实现实验目标的情况的 Analytics 事件,请参阅目标指标

  10. 定义要用来跟踪实验结果和检测实验变体副作用的其他指标。如需详细了解要跟踪的其他指标,请参阅其他指标

  11. 点击查看以保存实验。

在测试设备上验证您的实验

安装的每个 Firebase 应用都会有一个关联的实例 ID 令牌(即注册令牌)。您可以使用此令牌在安装了您的应用的测试设备上测试特定实验变体。要在测试设备上验证您的实验,请执行以下操作:

  1. 按如下方式获取实例 ID 令牌:

    Swift

    print("Instance ID Token: \(InstanceID.instanceID().token)")
    

    Objective-C

    NSLog(@"%@", [[FIRInstanceID instanceID] token]);
    

    Android

    FirebaseInstanceId.getInstance().getInstanceId()
            .addOnCompleteListener(new OnCompleteListener<InstanceIdResult>() {
                @Override
                public void onComplete(@NonNull Task<InstanceIdResult> task) {
                    Log.d("IID_TOKEN", task.getResult().getToken());
                }
            });
    

    C++

    firebase::InitResult init_result;
    auto* instance_id_object = firebase::instance_id::InstanceId::GetInstanceId(
        firebase::App::GetInstance(), &init_result);
    instance_id_object->GetToken().OnCompletion(
        [](const firebase::Future<std::string>& future) {
          if (future.status() == kFutureStatusComplete &&
              future.error() == firebase::instance_id::kErrorNone) {
            printf("Instance ID Token %s\n", future.result()->c_str());
          }
        });
    

    Unity

    Firebase.InstanceId.FirebaseInstanceId.DefaultInstance.GetTokenAsync().ContinueWith(
      task => {
        if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
          UnityEngine.Debug.Log(System.String.Format("Instance ID Token {0}", task.Result));
        }
      });
    
  2. Firebase 控制台导航栏上,点击 Remote Config(远程配置)或 Notifications(通知),然后点击 A/B 测试
  3. 依次点击草稿和实验标题。
  4. 点击管理测试设备,然后为测试设备输入实例 ID 令牌,并选择要发送到该测试设备的实验变体。
  5. 运行应用,并确认测试设备是否收到所选的变体。

要详细了解实例 ID 令牌,请参阅 FIRInstanceID (iOS) 或 FirebaseInstanceId (Android)。

管理实验

无论是使用远程配置还是通知编辑器创建实验,您都可以验证并启动实验,在实验运行时监控实验,并增加参与正在运行的实验的用户数量。

实验完成后,您可以记录胜出变体使用的设置,然后将这些设置推送给所有用户。或者,您可以运行另一个实验。

启动实验

  1. Firebase 控制台导航栏上,展开发展,然后点击 A/B Testing(A/B 测试)。
  2. 依次点击草稿和实验标题。
  3. 要验证您的应用是否有要参与实验的用户,请在定位和分布部分中检查有没有大于 0% 的数字(例如,1% 的用户符合条件)。
  4. 要更改实验,请点击修改
  5. 要启动实验,请点击启动实验。您最多可以同时为每个项目运行 6 个实验。

监控实验

在实验运行了一段时间后,您可以查看实验进度,以及了解在到目前为止参与过实验的用户身上所取得的效果如何。

  1. Firebase 控制台导航栏上,点击发展,然后点击 A/B Testing(A/B 测试)。
  2. 依次点击正在运行和实验标题。在此页面上,您可以查看有关正在运行的实验的各种统计信息,包括目标指标和其他指标。对于每个指标,您可以看到以下信息:

    • 提高幅度:根据给定变体与基准组合(即对照组)的比较结果来衡量某个指标的提高幅度。计算方法是将相应变体的值范围与基准组合的值范围进行比较。
    • 胜过基准组合的概率:给定变体胜过基准组合(依据所选指标)的估算概率。
    • 成为最佳变体的概率:给定变体胜过其他变体(依据所选指标)的估算概率。
    • 用户人均值:这是指标值在一段时间内归入的预测范围(以实验结果为依据)。
    • 总值:对照组或变体观测到的累积值。该值用于衡量每个实验变体的表现,以及计算提高幅度值范围胜过基准组合的概率成为最佳变体的概率。根据所衡量的指标,此列可能会标记为“每位用户的使用时长”、“留存率”或“转化率”。
  3. 要增加参与实验的用户数量,请点击扩大分布范围,然后选择增加的百分比以将更多符合条件的用户添加到实验中。

  4. 实验运行一段时间(至少 24 小时)后,本页上的数据会指示哪个变体(如果有)是“领先变体”。一些衡量结果会附带条形图来直观地呈现数据。

向所有用户发布实验

在实验运行了较长的一段时间,足以让您依据目标指标找到“领先变体”(即胜出变体)后,您就可以向所有用户发布该实验了。这会让您选择一个要在远程配置中面向所有用户发布的值。即使实验尚未确定明确的胜出者,您仍然可以选择向所有用户发布变体。

  1. Firebase 控制台导航栏上,点击发展,然后点击 A/B Testing(A/B 测试)。
  2. 点击已完成正在运行,然后点击您要向所有用户发布的实验,接着依次点击上下文菜单 (more_vert) 和发布变体
  3. 通过执行以下操作之一,向所有用户发布您的实验:

    • 对于使用通知编辑器的实验,请使用发布消息对话框向未参与该实验的其余目标用户发送消息。
    • 对于远程配置实验,请使用对话框确定要为所有用户更改的远程配置参数值。

扩大实验规模

如果发现某个实验涵盖的用户不够多,无法让 A/B 测试确定领先变体,您可以扩大实验规模以提高所覆盖的应用用户群体比例。

  1. Firebase 控制台导航栏上,点击发展,然后点击 A/B Testing(A/B 测试)。
  2. 点击正在运行,将鼠标悬停在实验上,点击上下文菜单 (more_vert),然后点击提高比例
  3. 控制台将显示一个对话框,您可以使用其中的选项,提高参与当前正在运行的实验的用户比例。输入一个大于当前百分比的数字,然后点击发送。系统就会将实验推送给您所指定的用户群中该百分比的用户。

复制或停止实验

  1. Firebase 控制台导航栏上,点击发展,然后点击 A/B Testing(A/B 测试)。
  2. 点击已完成正在运行,将鼠标悬停在实验上,点击上下文菜单 (more_vert),然后点击复制停止

用户定位

您可以使用以下用户定位条件定位用户,以将其纳入到实验的对照组或变体中。

定位条件 运算符    备注
版本 包含、
不包含、
完全匹配、
包含正则表达式
输入要纳入到实验中的一个或多个应用版本的值。

当使用包含不包含完全匹配运算符中的任意运算符时,您可以提供一个以英文逗号分隔的值列表。

当使用包含正则表达式运算符时,您可以创建 RE2 格式的正则表达式。您的正则表达式可以与目标版本字符串的全部或部分文本匹配。您还可以使用 ^$ 定位点与目标字符串的开头部分、结尾部分或全部文本匹配。

用户受众群体 包含全部、
包含至少一个、
包含部分、
不包含至少一个
选择一个或多个 Analytics 受众群体,以定位可能参与实验的用户。  
用户属性 对于文本:
包含、
不包含、
完全匹配、
包含正则表达式

对于数字:
<、≤、=、≥、>
Analytics 用户属性用于选择可能参与实验的用户,并提供一系列用于选择用户属性值的选项。

在客户端上,您只能为用户属性设置字符串值。对于使用数值运算符的条件,远程配置服务会将相应用户属性的值转换为整数/浮点数。
当使用包含正则表达式运算符时,您可以创建 RE2 格式的正则表达式。您的正则表达式可以与目标版本字符串的全部或部分文本匹配。您还可以使用 ^$ 定位点与目标字符串的开头部分、结尾部分或全部文本匹配。
预测 不适用 由 Firebase 预测功能定义的目标用户群,例如可能会停止使用您应用的用户,或者可能进行应用内购买的用户。您可以选择 Firebase 预测工具定义的其中一个值。如果某个选项不可用,您可能需要在 Firebase 控制台中转至“Predictions”(预测)部分来选择启用 Firebase 预测。  
设备所在国家/地区 不适用 用于选择可能参与实验的用户的一个或多个国家或地区。  
设备语言 不适用 用于选择可能参与实验的用户的一种或多种语言和语言区域。 此定位条件仅适用于远程配置。

A/B 测试指标

在创建实验时,您可以选择用于比较实验变体的指标,还可以选择要跟踪的其他指标,以帮助您更好地了解每个实验变体并检测任何显著的副作用(例如应用崩溃)。下方各表提供了有关如何计算目标指标和其他指标的详细信息。

目标指标

指标 说明
每日互动用户数 每天在前台运行您的应用的时间足以触发 user_engagement Analytics 事件的用户数。
留存人数(1 天) 每天都会使用您的应用的用户数。
留存人数(2-3 天) 间隔 2-3 天后恢复使用您的应用的用户数。
留存人数(4-7 天) 间隔 4-7 天后恢复使用您的应用的用户数。
留存人数(8-14 天) 间隔 8-14 天后恢复使用您的应用的用户数。
留存人数(15 天以上) 在距离上次使用您的应用 15 天(或更长时间)后恢复使用应用的用户数。
打开通知 跟踪用户是否打开了通知编辑器所发出的通知。
购买交易带来的收入 所有 ecommerce_purchasein_app_purchase 事件的总价值。
估算的 AdMob 收入 估算的来自 AdMob 的收入。
估算的总收入 购买交易收入和 AdMob 估算收入的总价值。
first_open 用户在安装或重新安装应用后首次打开该应用时触发的 Analytics 事件。用作转化渠道的一部分。
notification_open 当用户打开通知编辑器所发出的通知时触发的 Analytics 事件。用作转化渠道的一部分。

其他指标

指标 说明
未受崩溃事件影响的用户数 在实验期间,未在您应用中遇到 Firebase Crash Reporting SDK 所检测到的错误的用户所占的百分比。要了解详情,请参阅“未受崩溃事件影响的用户数”指标
notification_dismiss 当通知编辑器所发出的通知被关闭时触发的 Analytics 事件(仅适用于 Android)。
notification_receive 当应用在后台运行并收到通知编辑器所发出的通知时触发的 Analytics 事件(仅适用于 Android)。
os_update 一个用于跟踪设备操作系统何时更新为新版本的 Analytics 事件。要了解详情,请参阅自动收集的事件
screen_view 一个用于跟踪您应用中的屏幕浏览量的 Analytics 事件。要了解详情,请参阅跟踪屏幕浏览量
session_start 一个用于统计您应用中的用户会话数的 Analytics 事件。要了解详情,请参阅自动收集的事件
user_engagement 一个当您的应用在前台运行时周期性触发的 Analytics 事件。要了解详情,请参阅自动收集的事件

发送以下问题的反馈:

此网页
需要帮助?请访问我们的支持页面