使用 A/B 测试来创建消息传递实验

如果您要向现有用户发布消息或者开始新的营销活动,您应确保自己的做法正确无误。A/B 测试可以帮助您在所选的细分用户群中测试各种消息变体,以找出最理想的措辞和呈现方式。无论您的目标是为产品或服务留住更多客户,还是要提高产品或服务的转化量,A/B 测试都可以执行统计分析,确定消息变体在实现您所选目标方面的效果是否超过对照组。

要利用对照组对功能变体进行 A/B 测试,请执行以下操作:

  1. 创建实验。
  2. 在测试设备上验证您的实验。
  3. 管理实验。

创建实验

使用通知编辑器的实验可用于评估一条通知消息的多个变体。

  1. 登录 Firebase,打开 Analytics(分析)标签,并确保已启用数据共享。如果未启用数据共享,您的实验将无法访问分析数据。
  2. Firebase 控制台导航栏上,展开发展,点击通知,然后点击创建实验
  3. 填写以下字段以定义实验基本信息

    • 名称:输入实验的名称。
    • 说明(可选):输入用于描述实验的附加文本。
    • 目标用户:选择使用您的实验的应用。您还可以选择下列一个或多个选项来定位一部分用户,让这些用户参与您的实验:

      • 版本:应用的一个或多个版本
      • 用户受众群体:可能参与实验的用户所属的一个或多个 Google Analytics for Firebase 受众群体
      • 用户属性:Analytics 用户属性用于选择可能参与实验的用户,您可以通过一系列的选项选择用户属性值
      • 语言:用于选择可能参与实验的用户的一种或多种语言
    • 目标用户百分比:输入目标用户百分比,以指定与您在目标用户下设置的条件匹配的用户中,您要将其中多少比例的用户平均分配到实验中的对照组以及一个或多个变体。此值可以为介于 0.01% 与 100% 之间的任何百分比。系统会为每个实验(包括复制的实验)的用户随机重新分配百分比。
  4. 输入消息文本字段中输入要发送给对照组的消息。如果不打算向对照组发送任何消息,请将此字段留空。

  5. (可选)要在实验中添加多个变体,请点击添加变体。默认情况下,实验有一个对照组和一个变体。

  6. (可选)为实验中每个变体输入名称,以替换名称变体 A变体 B 等。

  7. 为实验中的每个变体输入消息文本。

  8. 为您的实验定义目标指标,以便在评估实验变体时使用。这些指标包括内置目标(参与度、购买量、收入、保留期等)、Analytics 转化事件和其他 Analytics 事件。

    要详细了解用于衡量变体实现实验目标的情况的 Analytics 事件,请参阅目标指标

  9. 定义要用来跟踪实验结果和检测实验变体副作用的其他指标。如需详细了解要跟踪的其他指标,请参阅其他指标

  10. 为您的消息选择选项:

    • 传送日期:选择立即发送立即启动实验,或选择稍后发送指定将来启动实验的时间。
    • 高级选项:要为实验中包含的所有通知选择高级选项,请展开高级选项,然后更改以下任何选项:

      • 标题:在 Android 设备和 Apple WatchOS 设备上显示的通知标题
      • 自定义数据:与通知一起传送给应用的一组键值对
      • 优先级普通
      • 声音禁用启用
      • (仅限 iOS)iOS 徽章已停用已启用
      • 到期时间:用于确定在初始传送失败后将消息保留多长时间以供重新传送的时间间隔
  11. 点击查看以保存实验。如果您将传送日期设置为立即发送,则系统立即会向参与实验的用户发送消息。

在测试设备上验证您的实验

安装的每个 Firebase 应用都会有一个关联的实例 ID 令牌(即注册令牌)。您可以使用此令牌在安装了您的应用的测试设备上测试特定实验变体。要在测试设备上验证您的实验,请执行以下操作:

  1. 按如下方式获取实例 ID 令牌:

    Swift

    print("Instance ID Token: \(InstanceID.instanceID().token)")
    

    Objective-C

    NSLog(@"%@", [[FIRInstanceID instanceID] token]);
    

    Android

    Log.d("IID_TOKEN", FirebaseInstanceId.getInstance().getToken());
    

    C++

    firebase::InitResult init_result;
    auto* instance_id_object = firebase::instance_id::InstanceId::GetInstanceId(
        firebase::App::GetInstance(), &init_result);
    instance_id_object->GetToken().OnCompletion(
        [](const firebase::Future<std::string>& future) {
          if (future.status() == kFutureStatusComplete &&
              future.error() == firebase::instance_id::kErrorNone) {
            printf("Instance ID Token %s\n", future.result()->c_str());
          }
        });
    

    Unity

    Firebase.InstanceId.FirebaseInstanceId.DefaultInstance.GetTokenAsync().ContinueWith(
      task => {
        if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
          UnityEngine.Debug.Log(System.String.Format("Instance ID Token {0}", task.Result));
        }
      });
    
  2. Firebase 控制台导航栏上,点击远程配置通知,然后点击 A/B 测试
  3. 依次点击草稿和实验标题。
  4. 点击管理测试设备,然后为测试设备输入实例 ID 令牌,并选择要发送到该测试设备的实验变体。
  5. 运行应用,并确认测试设备有无收到所选的变体。

要详细了解实例 ID 令牌,请参阅 FIRInstanceID (iOS) 或 FirebaseInstanceId (Android)。

管理实验

无论是使用远程配置还是通知编辑器创建实验,您都可以验证并启动实验,在实验运行时监控实验,并增加参与正在运行的实验的用户数量。

实验完成后,您可以记录胜出变体使用的设置,然后将这些设置推送给所有用户。或者,您可以运行另一个实验。

启动实验

  1. Firebase 控制台导航栏上,展开发展,点击远程配置通知,然后点击 A/B 测试
  2. 依次点击草稿和实验标题。
  3. 要验证您的应用是否有要参与实验的用户,请在实验概览中检查有没有大于 0% 的数字(例如,1% 的用户符合条件)。
  4. 要更改实验,请点击修改
  5. 要启动实验,请点击启动实验。您最多可以同时为每个项目运行 6 个实验。

监控实验

在实验运行了一段时间后,您可以查看实验进度,以及了解在到目前为止参与过实验的用户身上所取得的效果如何。

  1. Firebase 控制台导航栏上,依次点击发展远程配置通知,然后点击 A/B 测试
  2. 依次点击正在运行和实验标题。在此页面上,您可以查看有关实验草稿的各种统计信息,包括目标指标和其他指标。对于每个指标,您可以看到以下信息:

    • 提高幅度:根据给定变体与基准组合(即对照组)的比较结果来衡量某个指标的提高幅度。计算方法是将相应变体的值范围与基准组合的值范围进行比较。
    • 胜过基准组合的概率:给定变体胜过基准组合(依据所选指标)的估算概率。
    • 成为最佳变体的概率:给定变体胜过其他变体(依据所选指标)的估算概率。
    • 用户人均值:这是指标值在一段时间内归入的预测范围(以实验结果为依据)。
    • 总值:对照组或变体观测到的累积值。该值用于衡量每个实验变体的表现,以及计算提高幅度值范围胜过基准组合的概率成为最佳变体的概率。根据所衡量的指标,此列可能会标记为“每位用户的使用时长”、“留存率”或“转化率”。
  3. 要增加参与实验的用户数量,请点击扩大分布范围,然后选择增加的百分比以将更多符合条件的用户添加到实验中。

  4. 实验运行一段时间(至少 24 小时)后,本页上的数据会指示哪个变体(如果有)是“领先变体”。一些衡量结果会附带条形图来直观地呈现数据。

向所有用户发布实验

在实验运行了较长的一段时间,足以让您依据目标指标找到“领先变体”(即胜出变体)后,您就可以向所有用户发布该实验了。这会停止实验(如果实验仍在运行的话),并让您选择一个要在远程配置中面向所有用户发布的值。即使实验尚未确定明确的胜出者,您仍然可以选择向所有用户发布变体。

  1. Firebase 控制台导航栏上,依次点击发展远程配置通知,然后点击 A/B 测试
  2. 点击已完成正在运行,然后点击您要向所有用户发布的实验,接着依次点击上下文菜单 (more_vert) 和向全部用户发布
  3. 通过执行以下操作之一,向所有用户发布您的实验:

    • 对于使用通知编辑器的实验,请使用发布消息对话框向未参与该实验的其余目标用户发送消息。
    • 对于远程配置实验,请使用对话框确定要为所有用户更改的远程配置参数值。

扩大实验规模

如果发现某个实验涵盖的用户不够多,无法让 A/B 测试确定领先变体,您可以扩大实验规模以提高所覆盖的应用用户群体比例。

  1. Firebase 控制台导航栏上,依次点击发展远程配置通知,然后点击 A/B 测试
  2. 点击正在运行,将鼠标悬停在实验上,点击上下文菜单 (more_vert),然后点击提高比例
  3. 控制台将显示一个对话框,您可以使用其中的选项,提高参与当前正在运行的实验的用户比例。输入一个大于当前百分比的数字,然后点击发送。系统就会将实验推送给您所指定的用户群中该百分比的用户。

复制或停止实验

  1. Firebase 控制台导航栏上,依次点击发展远程配置通知,然后点击 A/B 测试
  2. 点击已完成正在运行,将鼠标悬停在实验上,点击上下文菜单 (more_vert),然后点击复制停止

用户定位

您可以使用以下用户定位条件定位用户,以将其纳入到实验的对照组或变体中。

定位条件 运算符    备注
版本 包含、
不包含、
完全匹配、
包含正则表达式
输入要纳入到实验中的一个或多个应用版本的值。

当使用包含不包含完全匹配运算符中的任意运算符时,您可以提供一个以英文逗号分隔的值列表。

当使用包含正则表达式运算符时,您可以创建 RE2 格式的正则表达式。您的正则表达式可以与目标版本字符串的全部或部分文本匹配。您还可以使用 ^$ 定位点与目标字符串的开头部分、结尾部分或全部文本匹配。

用户受众群体 包含全部、
包含至少一个、
包含部分、
不包含至少一个
选择一个或多个 Analytics 受众群体,以定位可能参与实验的用户。  
用户属性 对于文本:
包含、
不包含、
完全匹配、
包含正则表达式

对于数字:
<、≤、=、≥、>
Analytics 用户属性用于选择可能参与实验的用户,并提供一系列用于选择用户属性值的选项。 当使用包含正则表达式运算符时,您可以创建 RE2 格式的正则表达式。您的正则表达式可以与目标版本字符串的全部或部分文本匹配。您还可以使用 ^$ 定位点与目标字符串的开头部分、结尾部分或全部文本匹配。
预测 不适用 由 Firebase 预测功能定义的目标用户群,例如可能会停止使用您应用的用户,或者可能进行应用内购买的用户。您可以选择 Firebase 预测工具定义的其中一个值。如果某个选项不可用,您可能需要在 Firebase 控制台中转至“Predictions”(预测)部分来选择启用 Firebase 预测。  
设备所在国家/地区 不适用 用于选择可能参与实验的用户的一个或多个国家或地区。  
设备语言 不适用 用于选择可能参与实验的用户的一种或多种语言和语言区域。 此定位条件仅适用于远程配置。

A/B 测试指标

在创建实验时,您可以选择用于比较实验变体的指标,还可以选择要跟踪的其他指标,以帮助您更好地了解每个实验变体并检测任何显著的副作用(例如应用崩溃)。下方各表提供了有关如何计算目标指标和其他指标的详细信息。

目标指标

指标 说明
每日互动用户数 每天在前台运行您的应用的时间足以触发 user_engagement Analytics 事件的用户数。
留存人数(1 天) 每天都会使用您的应用的用户数。
留存人数(2-3 天) 间隔 2-3 天后恢复使用您的应用的用户数。
留存人数(4-7 天) 间隔 4-7 天后恢复使用您的应用的用户数。
留存人数(8-14 天) 间隔 8-14 天后恢复使用您的应用的用户数。
留存人数(15 天以上) 在距离上次使用您的应用 15 天(或更长时间)后恢复使用应用的用户数。
打开通知 跟踪用户是否打开了通知编辑器所发出的通知。
购买交易带来的收入 所有 ecommerce_purchasein_app_purchase 事件的总价值。
估算的 AdMob 收入 估算的来自 AdMob 的收入。
估算的总收入 购买交易收入和 AdMob 估算收入的总价值。
first_open 用户在安装或重新安装应用后首次打开该应用时触发的 Analytics 事件。用作转化渠道的一部分。
notification_open 当用户打开通知编辑器所发出的通知时触发的 Analytics 事件。用作转化渠道的一部分。

其他指标

指标 说明
未受崩溃事件影响的用户数 在实验期间,未在您应用中遇到 Firebase Crash Reporting SDK 所检测到的错误的用户所占的百分比。要了解详情,请参阅“未受崩溃事件影响的用户数”指标
notification_dismiss 当通知编辑器所发出的通知被关闭时触发的 Analytics 事件(仅适用于 Android)。
notification_receive 当应用在后台运行并收到通知编辑器所发出的通知时触发的 Analytics 事件(仅适用于 Android)。
os_update 一个用于跟踪设备操作系统何时更新为新版本的 Analytics 事件。要了解详情,请参阅自动收集的事件
screen_view 一个用于跟踪您应用中的屏幕浏览量的 Analytics 事件。要了解详情,请参阅跟踪屏幕浏览量
session_start 一个用于统计您应用中的用户会话数的 Analytics 事件。要了解详情,请参阅自动收集的事件
user_engagement 一个当您的应用在前台运行时周期性触发的 Analytics 事件。要了解详情,请参阅自动收集的事件

发送以下问题的反馈:

此网页
需要帮助?请访问我们的支持页面