做ABtest，样本量太少怎么优化？｜腾讯算法面经解析

60 秒回答模板

可以这样回答：A/B 样本量太少时，先判断统计功效是否不足：基线转化率、期望 MDE、方差、显著性水平和流量共同决定所需样本。处理方向不是套模型指标，而是延长实验、扩大流量、降低方差、调整实验设计或接受只能发现更大效应。可以用 power analysis 估算样本量；用 CUPED、分层随机、协变量控制或更敏感的高频指标降低方差；减少实验组数量或聚焦核心人群能提高单组样本；序贯/Bayesian 方法要预先设计，避免反复偷看。延长实验会受周期和外部事件影响，扩大流量有业务风险，降低 MDE 会显著增加样本需求。样本不足时不应强行宣称显著，只能报告置信区间和不确定性。要检查 SRM、分桶污染、用户独立性、护栏指标、季节性、重复访问和提前停止风险。验证时重点看：看 power、MDE、置信区间宽度、p-value/后验概率、SRM、方差、实验周期、分桶比例和护栏指标。

考点 考点边界

主线 核心机制

易错点 把样本量不足回答成训练集太少、AUC/F1 不稳等机器…

深入解析

考点边界

这题必须围绕“A/B Test 样本量不足处理”本身回答，不能套相邻大类模板。先给定义或目标，再展开机制、边界、取舍和验证抓手。回答时要主动点出题面关键词对应的对象、输入输出和约束条件，避免把具体问题讲成宽泛复习提纲。本题对应“A/B Test 样本量不足处理”，核心前提是：A/B 样本量太少时，先判断统计功效是否不足：基线转化率、期望 MDE、方差、显著性水平和流量共同决定所需样本。处理方向不是套模型指标，而是延长实验、扩大流量、降低方差、调整实验设计或接受只能发现更大效应。

核心机制

可以用 power analysis 估算样本量；用 CUPED、分层随机、协变量控制或更敏感的高频指标降低方差；减少实验组数量或聚焦核心人群能提高单组样本；序贯/Bayesian 方法要预先设计，避免反复偷看。关键证据要落到power、MDE、方差、置信区间、SRM、护栏指标，这样才能说明机制为什么能支撑题目结论。如果继续展开，要说明基线、MDE、方差、实验周期和分桶单位如何共同决定样本量，而不是只说继续收集数据。

关键取舍

延长实验会受周期和外部事件影响，扩大流量有业务风险，降低 MDE 会显著增加样本需求。样本不足时不应强行宣称显著，只能报告置信区间和不确定性。因此要把结论写成可检测效应、置信区间和业务风险，而不是把样本不足的实验强行说成显著。这些取舍决定了方案在不同输入规模、延迟、内存、并发、泛化或一致性要求下是否仍然成立。

边界风险

要检查 SRM、分桶污染、用户独立性、护栏指标、季节性、重复访问和提前停止风险。排查时优先看 SRM、用户独立性、分桶污染、提前停止、季节性、护栏指标和置信区间宽度。需要特别关注极端输入、数据分布变化、资源不足、并发竞争或观测口径错误带来的退化。修复时要先保护实验口径和用户独立性，再决定是延长实验、降低方差、扩大流量还是只报告当前不确定性。

验证抓手

验证时看 power、MDE、方差、置信区间、p-value 或后验概率、SRM、分桶污染、CUPED 效果、护栏指标、季节性和实验周期。样本不足时不能强行宣布显著，只能说明不确定性和可检测效应。针对本题，最有价值的验证信号是：看 power、MDE、置信区间宽度、p-value/后验概率、SRM、方差、实验周期、分桶比例和护栏指标。把验证抓手说出来，可以让答案从知识点延伸到实验结论可信度、样本量和业务风险判断。

易错点

把样本量不足回答成训练集太少、AUC/F1 不稳等机器学习模板。
只说延长实验，不检查 MDE、power、SRM、方差和护栏指标。
把相邻概念混用，没有明确说明这道题真正考察的边界。
没有给出验证方式，导致答案听起来完整但无法判断是否真的生效。

面试官追问

样本不够时能不能提前看 p-value 决定停不停？

不能随意反复偷看，否则假阳性会上升。若要边跑边看，需要预先使用序贯检验或 Bayesian 决策规则。回答时还要补充适用前提、失败场景和验证信号，避免只给一个孤立结论。

CUPED 为什么能缓解样本量不足？

它用实验前协变量解释一部分指标波动，降低残差方差，因此同样样本下置信区间更窄、检验功效更高。回答时还要补充适用前提、失败场景和验证信号，避免只给一个孤立结论。

“做ABtest 样本量太少怎么优化”继续追问时最该补哪条边界？

应该围绕“A/B Test 样本量不足处理”补适用前提、失败场景和验证证据。先说明哪些条件下这个机制成立，再说明哪些输入规模、并发状态、数据分布或资源限制会让答案需要调整。

“做ABtest 样本量太少怎么优化”怎样回答才不是只背概念？

看它能否把“A/B Test 样本量不足处理”的机制链路、关键取舍和可观测信号连起来。回答时应落到具体状态变化、数据路径、复杂度、指标或排查工具，而不是只复述定义。

样本量不足时为什么不能只看 p-value？

样本不足会导致统计功效低、置信区间宽，p-value 不显著不等于没有效果。反复偷看还会增加假阳性，除非预先设计序贯检验或 Bayesian 决策规则。