01

60 秒回答模板

我会先把“和预期不符”拆成一个诊断问题，而不是直接下结论说模型有问题。第一步确认预期是什么：是业务方的体感预期、上个版本的基线、人工评审结论，还是线上指标的方向；如果预期本身没有定义清楚，先补齐目标场景、用户分群和验收口径。第二步做数据 sanity check，看评测集是否覆盖真实场景，是否有重复样本、脏样本、过期样本、难例比例异常，训练集和评测集是否污染，以及新旧版本是否用的是同一批数据。第三步查指标口径，包括分母、权重、阈值、宏平均还是微平均、是否被少数高频类别主导，自动打分和人工评审是否一致。第四步看标注和 judge 质量，抽样复核 badcase，检查 rubric 是否模糊、标注员是否理解一致、大模型裁判是否有偏差。第五步才进入模型真实问题，把异常按意图、长度、语言、知识时效、工具调用、拒答、幻觉等维度切片，定位是能力退化、提示词问题、检索问题还是数据分布外问题。最后用小规模修正实验验证：修评测集、修指标、修标准或修模型后，要回放同一批样本，并和线上 A/B、用户反馈或人工复核闭环对齐。成熟回答的重点是建立可复现的排查链路，而不是看到数据不符合预期就调整指标或否定模型。

考点 异常入口
难度 真实面经题
回答目标 让候选人能把 AI 评测异常讲成一套可信诊断流程：先校准预期，再查数据、指标、标注和模型行为，最后用回放与线上反馈验证。
02

深入解析

01

先定义“预期”来自哪里

评测结果和预期不符，最容易混淆的是预期本身。产品经理要先问清楚：预期来自历史版本基线、竞品表现、人工专家判断、线上转化或满意度，还是业务方主观体感。不同预期对应不同证据，如果只是“感觉应该更好”，就需要转成可验证假设，例如某类任务正确率应提升、拒答率不应上升、重点场景 badcase 应下降。

02

评测集代表性比数量更重要

评测集要看是否覆盖真实用户任务、核心场景、长尾难例和风险边界，而不是只看样本数。排查时应检查样本来源、时间范围、去重、脏数据、语言和长度分布、难度分层、类别比例，以及训练数据和评测数据是否存在泄漏。若评测集偏离线上分布，结果和预期不符可能是数据构造问题，不一定是模型能力问题。

03

指标口径要查分母、权重和阈值

指标异常经常来自口径差异。比如准确率、召回率、F1、满意度、通过率、人工偏好胜率和自动 judge 分数衡量的对象不同；宏平均会放大小类表现，微平均会被高频类主导；阈值变化会改变通过率；把无法判断样本算进分母或剔除分母也会改变结论。回答时要明确先固定指标定义，再讨论优化。

04

标注和裁判质量需要单独验证

AI 评测常依赖人工标注、人工偏好、规则打分或大模型裁判。若 rubric 写得模糊，标注员理解不一致，golden set 本身有错误，或自动 judge 对长答案、格式、语气有偏好，评测结论就会失真。产品经理应设计抽样复核、一致性统计、争议样本仲裁和标准校准，而不是把打分系统当成绝对真相。

05

把模型问题切成可行动 badcase

确认数据和指标没有明显问题后，再进入模型行为分析。不要只说“效果差”，要按任务类型、用户意图、输入长度、知识时效、领域、格式要求、安全拒答、幻觉、工具调用、检索召回等维度切片。每个切片对应不同动作：可能是 prompt 修正、检索库更新、样本补充、标注标准调整、模型微调或产品兜底。

06

修正后要做回放和线上闭环

优化动作要通过同一批样本回放、保留集验证、人工复核和线上小流量实验来验证。评测集修过以后不能只看新分数变好，还要防止过拟合评测集；指标口径调整要保留前后可比关系；如果离线提升没有带来线上满意度或任务成功率提升，就要重新审视离线评测是否覆盖真实用户价值。

03

易错点

  • 一看到分数低于预期就说模型能力不行，没有先检查预期定义、数据质量和指标口径。
  • 把评测集数量当成质量，忽略样本分布、去重、时效性、难度分层和线上代表性。
  • 只报一个总分，不拆分任务类型、用户意图、长尾场景和风险样本，导致无法定位动作。
  • 为了让结果符合预期而调整指标权重，没有说明旧口径问题和新口径的用户价值。
  • 默认人工标注或大模型 judge 一定正确，没有做一致性、抽样复核和争议仲裁。
  • 把这题答成“如何从 0 搭建 AI 评测体系”，没有聚焦评测结果异常后的排查和优化。
04

面试官追问

如果离线评测变好但线上用户反馈变差，你会怎么判断？

优先怀疑离线评测没有覆盖真实线上任务或权重不一致。应对齐线上请求分布、用户分群和任务成功指标，抽取线上 badcase 回灌评测集，同时检查离线指标是否过度奖励格式、长度或局部能力。

自动大模型裁判的分数可以直接作为最终评测吗？

不建议直接作为唯一结论。它适合规模化初筛，但需要人工 golden set 校准、一致性抽检、不同裁判模型对照和争议样本复核，否则可能把裁判偏好误认为模型真实能力。

评测集应该追求真实分布还是难例覆盖？

两者要分层。主评测集应反映真实核心流量，用来看整体体验；难例集和风险集应单独建，用来看边界能力和回归风险。混在一个总分里容易让结论不可解释。

发现评测指标口径有问题，可以直接改指标吗？

可以改，但要保留版本和解释。应说明旧口径的问题、新口径衡量的用户价值、历史结果如何重算或桥接，并避免为了让结果符合预期而临时调权重。

如何避免优化后只是在刷评测集？

保留未参与优化的 holdout 集，定期更换线上抽样样本，关注不同切片和线上指标，并记录每次优化是否直接看过样本答案。这样可以降低对固定评测集过拟合的风险。