一、功能介绍

• 开发者可在同一广告位/同一流量分组下，配置A、B两组不同瀑布流，或在A、B组中创建不同的流量分组，并通过对比两组收益差异，确定更优的瀑布流配置/流量分组方案

• A/B测试主要应用场景包含但不限于：

• 其他测试场景如下：

① 不同adn、不同设价代码位、不同请求排序、不同层数之间的对照

② 不同串并行请求方式、不同超时请求时长设置之间的对照

③ 使用用户展示控制功能与不使用用户展示控制功能之间的对照

二、使用流程

1. 创建A/B测试

• 在【瀑布流管理】页具体的广告位下，点击「高级工具」-「创建A/B测试」可创建新的测试，并填写测试名称、设置A/B组的流量分配比例，即成功创建
• 提示：开启测试前建议升级版本至融合 SDK5350及以上

2. 配置瀑布流

• 为提高配置效率，现支持「复制A组瀑布流配置至B组」，具体为以下2种方式： ① 复制所有A组代码位；② 仅复制A组开启代码位（不复制未启用代码位）
• 提示：代码位复用可能导致API数据不准：代码位分别在A、B组复用下，预估数据根据waterfall_id拆分，准确且不会混淆；但API数据根据预估数据按比例拆分，数据准确性有一定欠缺。如需采用API数据进行分析且能接受一定的数据偏差，可复用代码位；若想避免后续API数据分析时出现问题，不建议代码位复用，建议A、B组均新建代码位
• 为确保测试结论更置信，需保证变量唯一性，即除测试变量外，其他配置应保持一致。如想测试瀑布流层数对收益的影响时，应只保留两组在层数上的差异，串并行请求行数和超时时长设置等配置应保持一致

3. 开启A/B测试

• 完成瀑布流配置后，开启测试，预计30分钟左右陆续生效
• 为确保数据结论稳定，建议测试周期≥7天 且 每组测试累计show≥3w，或者去重DAU累计>5K，测试期间不建议更改瀑布流配置

4. 查看测试数据

• 测试开启后，点击「查看A/B测试数据」可进入A/B测试数据分析页

① A/B组数据对比表：

a. 当各ADN均在【广告网络】中配置了API数据返回时，则默认展示各ADN回传的API数据

b. 若广告网络中配置不完整，则会默认展示预估数据。为确保数据准确且快捷可用，建议提前开启并返回各ADN的API数据

② A/B测试趋势图：

a. 默认为分天数据，时间筛选为“今日”时会展示分小时数据

b. 可切换右上角的【指标】，查看不同数据的变化趋势

c. “今日”小时报表不支持API数据

5. 调整测试比例

• 测试过程中，点击「查看A/B测试数据」-「修改流量分配」来调整A/B组的流量比例，调整流量比例后，测试数据会新增“流量分配比例2”数据，原数据在“流量分子比例1”中
• 提示：为了积累足够多的测试数据，不建议频繁调整流量分配比例。若需测试新的分配比例，建议关闭当前A/B测试，重建新的A/B测试

6. 采纳测试结果

• 测试一定时间后，可点击「采用A」或「采用B」来推全收益更高的测试组
• 推全前，建议通过「置信度评估」来查看当前测试是否已达置信水平，置信度评估工具计算原理：根据样本量(dau)、A/B组arpu均值及方差，判断A/B组间整体arpu是否存在显著差异，如不存在则计算达到显著水平的样本量(dau）
• 提示：推全后，采用组的瀑布流将保留，放弃组的瀑布流可在历史测试页中查看

7. 历史A/B测试

• 测试结束后，可点击「更多操作」-「查看历史A/B测试」来查看所有A/B测试类型的记录历史配置：在【A/B测试配置】点击【配置详情】查看数据结果：在【测试结果】点击【详情】查看

8. 用户反转分流

• 当前流量分配比例为55分流时，可以通过点击「修改流量分配」，勾选「用户反转」实现两组用户的交换
• 提示：用户反转需要满足当前实验比例、反转后的实验比例均为55分流，否则用户反转无法生效

三、常见问题

1. 代码位可以A组复制到B组吗？

A：可以，但不建议代码位复用。预估数据根据waterfall_id拆分，不会混淆；API数据根据预估数据按比例拆分，数据准确性有一定欠缺。如能接受一定的数据偏差，可复用代码位；若想避免后续数据分析出现问题，不建议代码位复用，建议A、B组均新建代码位。

2. A/B测试创建后多久生效？

A：立即生效。创建、调整、结束A/B测试后均立即生效。

3. A/B测试数据可以导出吗？

A：可以。在【瀑布流管理】中分别导出A组和B组的数据。【查看A/B测试数据】页中配置与数据（含历史数据）的导出功能暂不支持，已在规划中，相关更新敬请关注。

4. 历史A/B测试配置怎么重新使用到新建A/B测试中吗？

A：目前暂不支持历史A/B测试直接复制并使用到新A/B测试中，相关功能已在规划中，相关更新敬请关注。

5. 为什么有些代码位的填充率api>100%？

A：兜底代码位填充率api＞100%，跟a组b组代码位复用有关，请求量api、返回量api数据拆分是基于a组b组埋点上报的请求量、返回量占比预估拆分的。如若要做严格的ab测试，则建议a组、b组使用不同代码位id。

6. 为什么“置信度评估”中的建议样本量级异常高？

A：如建议样本量出现异常高值（如单组50w），建议检查流量质量。其原因是，可能流量中有较大一部分dau消耗极低（甚至为0），即对收益的贡献度极低，因此需要较大dau量级才能让消耗增幅/减幅更显著。