如何设计 A/B Test 评估文章推荐对大盘阅读量的增量影响？

60 秒回答模板

我会把这类 A/B Test 的目标定义成“文章推荐是否带来大盘阅读量的增量”，而不是“推荐模块点击率是否更高”。实验组展示或使用新推荐策略，对照组保持无推荐、旧推荐或低强度推荐，随机单位优先选用户级，至少要保证同一用户在实验周期内稳定落桶，避免同一个用户一会儿看到推荐、一会儿看不到推荐造成污染。 指标要分三层。第一层是大盘增量指标，比如人均阅读篇数、总阅读时长、有效阅读次数、阅读完成率、二跳阅读和次日留存。第二层是推荐模块指标，包括曝光、点击、有效点击、点击后停留、负反馈和重复曝光。第三层是护栏指标，比如当前文章完成率、退出率、投诉、取关、加载性能、内容多样性和低质内容曝光。只有推荐模块点击上升，但大盘人均阅读或总时长没有提升，不能说明推荐有效。 实验设计上要特别处理替代效应和干扰。文章推荐可能只是把用户从搜索、订阅列表、会话分享或原本要读的下一篇文章迁移过来，所以要看用户级总阅读，而不是模块归因阅读。还要按新老用户、活跃度、入口来源、文章长度、内容品类和作者类型分层，判断提升来自哪里。样本量上要提前定义主指标、MDE、显著性水平和实验周期，结束后做 SRM、埋点完整性、曝光点击匹配和实验桶稳定性检查。 最后给结论时，我会用主指标是否显著提升、置信区间是否达到业务最小收益、护栏是否恶化、不同分层是否一致、长期留存是否被透支来决定是否上线。如果大盘不涨但模块指标好，要优先排查替代效应、推荐内容质量、用户疲劳、点击后停留短和实验口径问题。