A/B测试-编程实验_全域采集与增长分析(Quick Tracking)-阿里云帮助中心

0.功能概述

编程实验是通过代码编程进行的A/B实验。可广泛应用于前端优化、策略优化和后端算法优化多种实验场景。本文为您介绍编程实验的创建和管理方法。

您可以在首页点击“A/B测试”按钮进入本产品，或者在应用列表中点击“A/B测试”进入产品。

在实验管理>实验列表中，您可以点击“新建实验”按钮，创建一个新的实验。

本产品当前支持创建编程实验，您可以在“新建编程实验”页面，进行实验创建，创建实验需完成“输入基本信息-设计生效策略-实验组配置”三个步骤。

（1）输入基本信息

（2）设计生效策略

输入基本信息之后，点击“下一步”，可继续设计实验的生效策略：

是否互斥：默认为否。流量不互斥，即为正交实验；流量互斥，即为互斥实验。
分流主体：支持选择实体ID、用户ID和设备ID。
流量层：正交实验时，无需选择流量层；互斥实验时，需要选择流量层，同一流量层中的各实验组的流量互斥，流量层按照分流主体进行选择。
实验流量：默认为100%；正交实验时，可以在 1%到 100%中调整；互斥实验时，上限为当前流量层的剩余流量。
全局筛选：支持设置用户受众规则。若设置规则，仅规则生效的用户会命中实验，即：若设置流量为50%且设置受众规则，则实际命中的用户为50%用户分流后再判断符合受众规则用户；可设置的范围同当前应用分析全局筛选和用户分群。
体验一致性：默认开启。开启后，实验期间用户生效版本不随流量、受众条件调整而发生变化，可保障在实验期间同一用户只进入一个实验组，即用户只要进入当前实验组就不再出实验（除非暂停、关闭实验）。不开启时，每次都会实时判断用户命中的实验组。

设置完成后，点击“下一步”，开始配置实验组。

（3）配置实验组

在此步骤中，您可以配置实验组参数：

测试用户命中条件：默认关闭，关闭时测试用户不考虑受众条件默认进组，开启时需满足受众条件才能进组。
实验参数配置：
- 编程实验至少需要一个实验参数
- 参数支持四种类型：number、string、boolean、json
- 同一个实验内，参数key需唯一
- 同一个实验内，添加实验参数key后，每个实验组默认添加对应的参数key
- 对于编程实验，sdk通过接口可获取当前命中实验的参数对应的值
对照组/实验组设置：
- 类型：分为对照组和实验组。一个实验有且仅有一个对照组，可以设置多个实验组；默认为1个对照组和1个实验组，可以点击添加实验组添加新的实验组
- 实验组名称：默认名称为实验组+自增序号
- 测试用户：默认进组的用户。手工输入对应ID，输入的ID类型和分流主体一致；支持扫码进组，使用测试设备扫码，自动获取当前设备的分类主体ID并录入
- 描述：可对实验组进行描述
- 参数配置：同一个实验内的每个实验组默认添加对应的参数key，可设置不同的参数值
- 操作：可以收起或展开实验组信息，支持查看样例代码、删除实验组、添加实验组
  - 查看样例代码：根据当前配置的实验参数，生成样例代码
  - 删除实验组：删除当前实验组
  - 添加实验组：新增一个实验组

实验列表下包含“全部实验”、“我的收藏”、“草稿箱”三个Tab。

"全部实验"：当前应用下的除了状态为"草稿"的所有实验列表。
- 显示实验名称、状态（调试中/运行中/已暂停/已结束）、设定流量、进组用户数、运行时间、负责人、操作栏（启动/停止、删除、显示详情）。
- 已完成配置的实验，若点击“完成”，则创建的实验默认状态为调试中。
"我的收藏"：当前应用下当前用户主动收藏的实验列表。
- 显示实验名称、状态（调试中/运行中/已暂停/已结束）、设定流量、进组用户数、运行时间、负责人、操作栏（启动/停止、删除、显示详情）。
"草稿箱"：当前应用下当前用户创建的状态为"草稿"的实验列表。
- 显示名称、进度、负责人、操作栏（删除、编辑）。