概述

在线上流量中取出一小部分，完全随机地分给原策略A和新策略B，得到对于两种策略相对效果的准确估计。整体流程是设置实验目标，设置实验变量，设置实验分流，查看实验报告。

前提条件

1应用已经创建完成。

2数据接入服务和推荐服务已经开启。

操作步骤

1登录进入智能推荐引擎，点击【版本迭代】下的【AB实验】。

2创建实验：点击【+创建实验】按钮，弹出“创建实验”弹框。

（1）实验目标设置：输入实验名称、核心指标基线值、预期提升指标值，并勾选需要的辅助指标。

（2）实验变量设置：设立对照组和实验组，并绑定对应服务，对实验组进行【策略配置】操作。

（3）实验分流设置：填写计划实验流量，进行流量分配（实验组和流量组总量配比不超过100%），可使用流量计算器的计算结果作为参考来调整实验组和对照组的流量，并设定实验周期，点击【完成创建】。

流量计算器| 计算结果仅作为参考，不是实验真正的流量和试验周期。实验周期=n/每日uv | 核心指标差异值 当前实验版本相对于对照版本的绝对差异/基准版本值。 置信区间 计算核心指标差异值的置信区间，由样本统计量构造的总体参数的估计区间。

3 查看实验报告：分析核心指标的变化，结合数据确定有效版本或策略。当达到截止时间，出现实验结论，通过显著性判断，是否继续实验。

说明：
实验状态：默认开，状态为开且满足运行开始时间，流量开始进入实验；关闭实验流量不分流。
实验结论：当达到运行结束时间后生成最终实验结果，共有三种结果：
（1）正向显著：截止2024-01-24 01:00统计已正向显著，实验组n为优胜版本，建议线上应用此配置，可提高核心指标表现。
（2）均不显著：截止2024-01-24 01:00尚未统计显著，建议扩大流量或者延长实验时间继续观察。
（3）负向显著：截止2024-01-24 01:00统计业务负向显著，可结束实验。

4 开启关闭实验：可对实验报告进行筛选、编辑、开启、关闭等操作。若实验状态为“已开启”，可进行查看实验报告和关闭操作。若实验状态为“已关闭”，可进行查看实验报告、开启、编辑、删除的操作。