标签题目
A/B 测试相关面试题
A/B Test 中如何判断差异是否显著？
A/B Test 判断显著性，要先明确假设、主指标、样本量和实验单位，再用合适的统计检验计算 p 值、置信区间和效应量。显著不等于值得上线，还要检查随机化、样本比例、实验污染、护栏指标和业务收益。
A/B 实验如何设计和评估？
A/B 实验的核心是用随机分流把策略变化与其他干扰因素隔离开，再用预先定义的指标体系和统计检验判断新方案是否真的带来增益。完整回答应覆盖实验目标、假设、实验单元、分流机制、指标设计、样本量与周期、过程监控、显著性检验、分层分析、风险控制和最终决策。
做ABtest，样本量太少怎么优化？
做ABtest，样本量太少怎么优化？这道腾讯牛客题的关键是围绕“A/B Test 样本量不足处理”讲清概念、机制、取舍和边界。A/B 样本量太少时，先判断统计功效是否不足：基线转化率、期望 MDE、方差、显著性水平和流量共同决定所需样本。处理方向不是套模型指标，而是延长实验、扩大流量、降低方差、调整实验设计或接受只能发现更大效应。
视频 AIGC 从 0 到 1 时，如何设计离线评估、线上实验和用户采纳闭环？
这题考视频 AIGC 从 0 到 1 的产品验证闭环，回答要覆盖离线效果评估、线上实验、用户采纳和复盘迭代。
AI 产品经理与技术团队对项目实验方向有分歧时，如何沟通并做决策？
这题考 AI 产品经理面对实验方向分歧时的协作和决策能力，重点不是谁说服谁，而是把目标、假设、指标、约束和决策机制显性化。
如何设计 A/B 实验评估大模型智能客服是否提升用户满意度？
这题考用数据分析方法验证大模型客服是否提升满意度，重点是实验假设、随机化单位、主指标与护栏指标、样本量、显著性和长期效果判断。
如何设计实验验证 AI 助手表达不确定性是否提升长期信任？
这题考产品实验设计，重点是验证 AI 助手表达不确定性对长期信任的影响，同时控制答案正确性、任务类型、用户阶段和护栏指标。
AIGC 周末出行短攻略或美食探店笔记功能如何快速设计 MVP 并上线测试？
这题考本地生活 AIGC 内容功能如何快速做 MVP 并上线测试，回答要覆盖场景选择、最小功能、质量安全、指标和迭代闭环。
AI 图片生成产品提升留存时，如何实验比较出图效果优化和社区广场功能？
这题考留存实验设计，不是让候选人主观判断算法或社区谁更重要。答案要覆盖假设、随机单位、2x2 实验、主指标、护栏、网络效应和 rollout 决策。
商业化广告产品中，AI 能力为广告主解决痛点后，产品经理应如何设计效果指标体系，兼顾投放结果、生产效率、创意质量、广告主体验、长期价值和护栏指标？
这题考广告产品经理的指标设计能力：不能只看短期点击或转化，而要把 AI 对投放结果、素材生产、创意质量、广告主体验、长期经营和平台风险的影响放进同一套指标体系。
关注页上线新的排序方案时，如何通过 A/B 测试选择更优方案，并设计核心指标、护栏指标和分层分析？
关注页排序方案 A/B 测试要围绕“用户是否更有效消费关注内容”设计指标：核心看关注页消费和互动提升，护栏看负反馈、留存、整体体验、创作者曝光和系统性能，并通过分层分析、显著性检验和长期观察决定是否上线。
同题还出现在 1 个公司岗位
作为数据分析师，遇到辛普森悖论导致汇总数据和分层数据结论相反时，应如何判断和处理？
这题考辛普森悖论下的数据判断能力，重点不是机械选择汇总或分层，而是先确认业务问题、分层变量是否为混杂因素，再用因果和实验思路给出可执行结论。
如何通俗解释“统计不显著”是什么意思？
这题考统计显著性的通俗解释，重点是说明“不显著不等于没效果”，而是当前样本证据不足以排除随机波动。
AI 助手调研中，用户问卷声称更信任某方案但实际使用更少时，如何解释“态度与行为不一致”？
这题考产品运营能否解释 AI 助手调研中的“态度与行为不一致”。高质量回答不能简单判定问卷或日志谁错了，而要拆解信任定义、样本口径、场景差异、使用摩擦、默认路径、习惯成本和任务风险，再用定性、日志和实验验证。
推荐或广告系统新增一路召回后，如何评估这一路召回的效果、效率和 ROI？
新增一路召回不能只看“这路召回了多少 item”或“命中了多少点击”，因为多路召回存在去重、排序、预算竞争和归因稀释。高质量回答要把评估拆成效果、效率、增量价值和 ROI 四层：效果看覆盖率、命中率、后链路采纳、排序后曝光/点击/转化贡献；效率看召回耗时、QPS、CPU/GPU/内存、索引成本、去重后有效候选率；增量价值看相对 baseline 的新增好样本、新增人群、新增广告主/商品覆盖，以及 A/B 中核心业务指标提升；ROI 则用增量收益减增量成本，或增量 GMV/广告收入/利润除以系统和维护成本。回答时要强调离线只能做候选筛查，最终要靠在线实验和归因方法判断是否值得长期保留。
推荐系统中用召回模型蒸馏粗排模型时，如何评价蒸馏后的召回效果？
这题考察召回模型蒸馏粗排模型后的评价方法。核心在于区分“学生模型是否拟合了粗排老师”和“蒸馏后的召回是否真的更好”。召回蒸馏粗排通常是把粗排模型对候选的打分、排序关系或 top item 偏好迁移到召回侧，使召回阶段更早拿到高质量候选。但评价不能只看蒸馏 loss 或 teacher-student 分数相关性，因为召回的职责是从海量 item 中找回后链路需要的候选。高质量答案应覆盖：离线召回指标、与 teacher 排序一致性、下游粗排/精排漏斗贡献、系统性能成本、在线 A/B 以及失败模式，如过度模仿粗排导致多样性下降、覆盖变窄、训练候选偏差和 teacher 错误被放大。
餐饮美食类目做拉新投放时，增长运营如何做人群定向，并用 A/B 实验验证落地页信息呈现和视频素材方案哪个更能提升 CVR？
这道题考察增长运营能不能把餐饮美食拉新投放从“凭经验投人群、换素材”讲成一个完整的增长实验闭环：先定义新客与转化，再做人群分层、创意和落地页假设，最后用严谨 A/B 实验判断落地页套餐信息呈现和视频素材哪个更能提升 CVR。
当小红书图文笔记互动率下降时，如何设计实验验证增加短视频内容是否能改善互动，并补充哪些数据？
这道题考察数据分析师能否从“图文笔记互动率下降”这个异常出发，提出短视频内容作为干预，并设计可验证、可归因、可补数的实验，而不是直接得出“多发视频就能提高互动”的结论。
推荐系统新增一路召回后，排序阶段需要做哪些特征接入、分数校准和模型训练改造？
这道题考察的是候选人是否理解推荐系统是召回、排序、重排和实验闭环的整体系统。新增一路召回不是把候选直接塞给排序模型就结束，因为新召回源会带来候选分布变化、分数口径不一致、样本覆盖不足、特征缺失、去重归因复杂、线上配额和延迟变化。排序阶段至少要接入召回源特征、补齐候选侧特征、处理新旧渠道分数校准、更新训练样本和负采样、监控不同来源的排序表现，并通过 A/B 验证用户指标、业务指标和系统成本。回答的关键是把新增召回后的排序改造讲成“分布变化治理”，而不是只说模型重新训练。
AI 产品上线后，如何量化转化率、留存率等业务提升，并基于实验结果和业务数据调整迭代策略？
这题考 AI 产品上线后的业务归因和迭代能力。回答要把转化率、留存率等业务指标放进实验设计、指标树、因果验证、分群分析、成本收益和迭代决策里，而不是只说上线后看数据有没有涨。
美团外卖用 AI 优化配送路径时，产品经理如何设计实验来比较不同算法对履约效率、成本、稳定性和用户体验的影响？
这题考 AI 路径优化实验设计能力。回答重点是先做离线回放和仿真，再做受控线上实验；指标要同时覆盖履约效率、配送成本、稳定性、骑手与用户体验，并处理调度网络中的干扰效应和安全护栏。
如何设计 A/B Test 评估文章推荐对大盘阅读量的增量影响？
这题考推荐功能的增量实验设计。回答要从实验目标、随机单位、指标层级、替代效应、分层分析和护栏指标展开，核心是证明文章推荐带来了大盘阅读量净增，而不是把原本会发生的阅读从其他入口搬过来。
A/B Test 中为什么常用 t 检验，它的适用前提和局限是什么？
这题考 A/B Test 的统计基础。t 检验常用于比较两组均值差异，因为它在方差未知、样本均值近似正态时能给出差异显著性判断；但前提、指标类型、样本独立性、方差差异和业务效应都必须一起说明。
A/B Test 的样本量应如何估算？
这题考 A/B Test 基础统计能力和业务实验意识。好的回答要从目标指标、基准水平、最小可检测效果、显著性水平、统计功效、方差、分流比例和实验单位讲起，而不是只背一个公式。
在非随机实验或 A/B 分析中，Matching 方法如何构造可比样本并降低选择偏差？
这题考非随机实验分析能力。Matching 的核心是用处理前特征为实验组找到可比对照组，降低选择偏差，但它只能控制可观测混杂，必须配合重叠性、平衡性诊断和敏感性分析。
A/B Test 中遇到异常值时，如何判断、处理并保证实验结论可靠？
这题考实验分析中的稳健性和业务判断。异常值不能简单删除，要先区分数据错误、埋点问题、作弊攻击、真实重尾用户和实验策略造成的极端变化，再按预先规则处理并报告敏感性结果。
在 A/B Test 的假设检验中，一类错误和二类错误分别是什么？
这题考 A/B Test 假设检验的基本错误类型。回答重点不是背定义，而是能把一类错误、二类错误、显著性水平、检验功效、样本量和业务决策风险联系起来。
客服 Agent 从通用 Agent 拆成 Expert Agent 后，如何设计 A/B 测试与指标归因，判断提升来自路由、Prompt 还是 Workflow，并监控是否引入泛化损失？
这题考架构改造后的实验归因能力。回答要说明如何设计 A/B 测试、拆指标、定位 Expert Agent 带来的收益，同时监控幻觉下降和泛化性损失。