A/B Test 中遇到异常值时，如何判断、处理并保证实验结论可靠？

60 秒回答模板

A/B Test 中遇到 outlier，第一反应不应该是删掉，而是先判断异常值的来源和它对实验结论的影响。异常值可能是数据质量问题，例如重复上报、金额单位错误、退款未抵扣、机器人流量或埋点 bug；也可能是真实业务现象，例如高价值用户、大额订单、节假日峰值、商家爆单；还可能是实验策略本身带来的结果，例如新补贴策略吸引了大额订单。如果不区分来源，随意删除可能把真实效果删掉，也可能让错误数据污染结论。 处理流程可以分为四步。第一，做数据诊断，检查指标分布、分位数、箱线范围、极端样本占比、分组是否均衡、异常是否集中在某个渠道、城市、版本或时间段。第二，做归因，结合日志、订单链路、埋点口径和业务事件判断异常属于数据错误、异常流量、自然重尾还是实验影响。第三，按预先定义的规则处理。数据错误应修复或剔除；作弊和机器人应按风控规则过滤；真实重尾可以用 winsorize、trimmed mean、log 变换、分位数指标、bootstrap 或非参数检验；如果异常是策略效果的一部分，就不能简单去掉，而要分层解释。第四，做稳健性分析，同时报告原始结果、处理后结果和关键分层结果。 成熟的回答还要强调实验规范：异常值规则应尽量在实验前写入分析方案，不能看到结果后选择对自己有利的处理方式。对于 GMV、客单价、交易额这类重尾指标，可以预先使用用户级聚合、截尾均值或 CUPED 等方法降低方差。最终结论要说明处理规则、受影响样本比例、主结论是否改变和业务解释。