Prompt 优化模块的 A/B 测试方案如何设计？｜阿里巴巴算法面经解析

60 秒回答模板

先明确 Prompt 优化模块要解决什么问题，例如提升用户任务完成率、降低重复追问、提升答案可用性或降低人工干预成本，然后提出可验证假设：新 Prompt 相比旧 Prompt 能在不损害安全性、延迟和成本的前提下提升核心业务指标。实验设计上采用用户级随机分流为主，必要时结合会话级或请求级分析，保证同一用户在实验期内看到稳定版本，避免串扰。指标体系分为主指标、过程指标和护栏指标，主指标用于判断业务收益，护栏指标用于控制幻觉、安全、延迟、成本和投诉风险。上线前先做离线评测和小流量灰度，线上按照样本量估算、实验周期、显著性检验和风险回滚策略推进，最终结合统计显著性、业务显著性和分层分析决定是否全量。

考点 实验目标

主线 可检验假设

易错点 只说随机分成两组，不说明分流单位和用户跨端串扰问题。

深入解析

实验目标

第一步不是直接分流，而是定义 Prompt 优化模块到底优化什么。可能是提高用户问题一次解决率、提升生成内容采纳率、减少多轮补充提问、提升转化链路中的关键点击，也可能是降低客服转人工率或减少模型调用成本。目标必须从业务链路出发转化为可量化指标，否则只看人工主观评分或答案好不好看，会导致实验结论难以落地。主目标只能有一个或少数几个，避免事后挑指标。

可检验假设

实验假设应写成可证伪的形式，例如新 Prompt 能将任务完成率提升 2%，同时安全违规率、平均延迟、单次调用成本不显著变差。这里要区分优化假设和风险假设：优化假设说明为什么新 Prompt 会更好，风险假设说明它可能在哪些人群、问题类型或场景下变差。Prompt 优化经常带来风格、长度、推理路径变化，因此不能只假设收益，还要提前定义不可接受的副作用。

分流单位

分流单位通常优先选择用户级随机化，因为同一用户如果一会儿看到旧 Prompt、一会儿看到新 Prompt，会出现体验不一致和学习效应，也会污染长期行为指标。若业务是一次性匿名请求，可以用会话级分流；若目标是纯模型质量指标且无用户记忆影响，才考虑请求级分流。还要注意账号、设备、cookie、会话之间的映射关系，避免一个真实用户跨端进入不同实验桶，造成结果方差变大。

指标体系

指标体系建议分三层：主指标、诊断指标和护栏指标。主指标承接业务目标，例如任务完成率、答案采纳率、有效转化率或人工兜底率下降。诊断指标解释变化原因，例如平均对话轮数、追问率、用户编辑率、重新生成率、点赞点踩率。护栏指标用于保证上线安全，例如幻觉率、安全违规率、投诉率、P95 延迟、模型调用成本、超时率和异常降级率。这样即使主指标上升，也能判断是否以牺牲体验或风险为代价。

版本控制

Prompt 实验必须把模型版本、Prompt 版本、检索策略、工具调用策略、后处理规则和温度等参数固定并记录，否则实验观察到的差异可能不是 Prompt 本身造成的。每次实验要有明确的实验组配置快照，线上日志中记录用户桶位、Prompt 标识、模型标识、请求场景、输入类型和输出质量反馈。对于大语言模型场景，版本漂移是常见问题，因此实验期内应避免同时切换模型或大规模调整召回数据。

样本与周期

样本量需要根据主指标基线、期望最小可检测提升、显著性水平和检验功效来估算，而不是凭感觉跑几天。实验周期要覆盖业务自然波动，例如工作日和周末、流量高峰和低峰、不同问题类型分布。如果 Prompt 对用户行为有学习影响，周期还要足够长，让新体验稳定暴露。对流量较小的场景，可以先扩大相似场景、延长周期，或降低最小可检测效果预期，但不能用样本不足的结果强行下结论。

离线到线上

上线前应先做离线评测，包括固定评测集、人工标注、自动打分、对抗样例和安全规则检查，用来筛掉明显差的 Prompt。离线评测不能替代线上 A/B，因为真实用户输入分布、上下文复杂度、耐心程度和业务行为反馈都不同。比较稳妥的流程是离线评测通过后进入小流量灰度，再逐步扩大线上实验流量。离线指标用于提高候选方案质量，线上实验用于验证真实业务收益和风险。

统计分析

分析时先检查随机化是否成功，包括实验组和对照组在用户画像、入口、设备、问题类型、历史活跃度上的分布是否均衡，并检查是否存在样本比例不匹配。随后对主指标做显著性检验和置信区间估计，同时关注业务显著性，即提升幅度是否值得承担成本和风险。还要做预先定义的分层分析，例如新老用户、不同意图、不同流量入口，但不能无限切片寻找显著结果。

风险回滚

Prompt 优化可能带来不可预期输出，因此必须设计风险控制。上线应采用灰度比例逐步扩大，设置实时监控和自动告警，护栏指标触发阈值时立即降级到旧 Prompt 或进入保守策略。对于高风险场景，还需要人工审核抽样、黑名单意图拦截、敏感问题兜底模板和实验暂停开关。最终发布决策不应只看主指标提升，而要综合成本、稳定性、安全性和长期用户信任。

易错点

只说随机分成两组，不说明分流单位和用户跨端串扰问题。
把点赞率当成唯一指标，忽略任务完成率、成本和安全风险。
实验期同时更换模型和 Prompt，导致无法归因真实提升来源。
没有提前定义主指标，实验结束后挑选显著指标作为结论。
忽视冷启动和学习效应，短时间小样本就判断方案胜出。
只做离线人工评测，不做线上真实用户行为验证。
看到统计显著就上线，没有评估业务提升幅度和护栏指标。
没有灰度、告警和回滚开关，异常输出出现后无法快速止损。

面试官追问

如果实验组任务完成率提升，但延迟也明显上升，怎么决策？

不能只看任务完成率，需要把延迟作为护栏指标和成本因素一起评估。如果延迟超过预设阈值或影响高价值场景体验，应先优化 Prompt 长度、模型调用链路或缓存策略，再重新实验；若收益远高于延迟损失，也可以只在低敏感场景灰度上线。

Prompt 实验为什么不总是用请求级分流？

请求级分流虽然样本积累快，但容易让同一用户在同一任务中体验不同版本，造成行为污染和学习效应。对于有多轮对话、历史上下文或用户认知变化的产品，用户级分流更能反映真实长期体验。

冷启动阶段样本少，如何判断新 Prompt 是否值得继续？

冷启动时可以先用离线评测、专家审核和小流量灰度降低风险，再观察方向性指标和严重负反馈。此时不宜过早宣称显著胜出，可以采用延长实验周期、合并相似场景或分阶段扩大流量来积累证据。

如何防止多指标分析带来的误判？

实验前要预注册主指标、核心护栏指标和主要分层维度，分析时先看主指标和预设护栏，再看诊断指标解释原因。对于大量临时切片发现的显著结果，只能作为后续假设，不能直接作为上线依据。

如果新 Prompt 对整体无提升，但对某类用户提升明显，怎么办？

需要确认该分层是否是实验前定义的关键人群，并检查样本量和置信区间是否可靠。如果结果稳定且业务上可解释，可以考虑做定向策略，只对该人群或意图启用新 Prompt，而不是简单全量上线或完全放弃。

线上 A/B 和人工评测结论冲突时听谁的？

要先确认冲突来自哪里。人工评测更擅长发现事实性、安全性和表达质量问题，线上 A/B 更能反映真实行为收益。如果线上变好但人工发现高风险问题，应先修复风险；如果人工更好但线上无收益，则说明优化未转化为用户价值。