01

60 秒回答模板

评价一次模型训练结果，我会先问它要服务什么产品任务，而不是先看一个总分。模型训练可能提升问答准确率、意图识别、推荐排序、内容生成、语音识别或多模态理解，不同任务的成功指标完全不同。产品经理要把训练结果映射到用户任务，比如是否提高任务完成率、减少人工修改、降低误答、提升转化或节省成本。 评价可以分四层。第一层是离线模型指标，比如准确率、召回率、F1、AUC、NDCG、BLEU/ROUGE、人工评分或 LLM-as-judge 分数，但要确认评测集来自真实业务分布，覆盖长尾、边界和高风险样本。第二层是 badcase 分析，看提升来自哪些场景，退化发生在哪些人群、内容类型和输入质量下，不能只看平均分。第三层是工程指标，包括推理延迟、首 token、吞吐、显存、单次成本、稳定性、可解释性和部署复杂度。第四层是线上业务指标，通过灰度或 A/B 看任务完成率、采纳率、投诉率、留存、转化、人工接管和安全拦截。 是否上线要有门槛。比如核心指标达到最小提升，关键风险样本不能退化，P95 延迟和单位成本在预算内，安全和合规指标不恶化，并且有回滚方案。训练结果好不等于立即全量，应该先 shadow、灰度、小流量实验，再根据监控和用户反馈决定扩大。

考点 任务先行
难度 真实面经题
回答目标 让面试官看到你能把模型训练结果转化为产品上线决策，兼顾效果、风险、成本和用户价值。
02

深入解析

01

先绑定业务任务

模型训练结果必须落到具体产品任务。客服问答、推荐排序、内容生成和识别分类的指标不同，如果不先定义任务，就无法判断训练结果是否有产品价值。

02

离线指标看代表性

准确率、召回率、F1、AUC、NDCG 或人工评分只有在评测集代表真实业务分布时才有意义。评测集要覆盖高频、长尾、边界、安全和历史 badcase。

03

平均分之外看退化

新模型总分更高，也可能在核心人群、高价值场景或高风险内容上退化。需要做分桶分析、错误类型分析和新旧模型 diff。

04

工程成本也决定上线

训练结果提升如果换来更高延迟、更高成本、更差稳定性或更复杂部署，产品上未必值得上线。要看 P95/P99、吞吐、资源消耗和运维风险。

05

线上验证给最终结论

离线好不等于线上好。上线前要做 shadow、灰度或 A/B，看真实用户任务完成、采纳、留存、投诉、人工接管和安全指标。

03

易错点

  • 只说看准确率，没有绑定具体业务任务和用户价值。
  • 只看平均分，不看分桶、长尾、关键人群和 badcase 退化。
  • 忽略推理成本、延迟、吞吐和部署稳定性。
  • 把离线评测当成上线结论，不做 shadow、灰度或 A/B。
  • 没有提前定义上线门槛、回滚阈值和监控指标。
04

面试官追问

离线指标提升但线上指标没提升，可能为什么？

可能评测集不代表真实流量，线上输入更脏，模型延迟影响体验，产品入口不匹配，用户不信任输出，或者离线指标与业务目标不一致。

训练结果评估中 badcase 怎么用？

把历史高频错误、投诉样本、长尾样本和高风险样本做成回归集，对比新旧模型是否修复和是否引入新问题。badcase 还要按根因分类，指导下一轮数据和策略优化。

AI 产品经理需要参与哪些模型评估环节？

至少要定义业务指标和验收门槛，参与评测集构建、badcase 标注、灰度方案、风险护栏和上线复盘，而不是只等待算法同学给一个分数。

什么情况下不建议上线新模型？

核心场景退化、高风险样本不稳定、延迟或成本超预算、安全指标变差、灰度投诉明显增加，或者缺少回滚和监控时，都不应全量上线。