01

60 秒回答模板

AI 功能上线后，我会同时收集显性反馈和隐性行为。显性反馈包括点赞点踩、满意度、投诉、问题标签和用户文字反馈；隐性行为包括重试、改写 prompt、复制采纳、编辑、撤销、导出、跳出和完成任务。指标体系分三层：模型质量看准确率、幻觉率、安全拦截、相关性和一致性；产品体验看任务完成率、采纳率、编辑率、响应时延和失败率；业务结果看转化、留存、付费或效率提升。反馈要和输入、输出、场景、用户分层和模型版本关联，形成 badcase 看板、优先级队列和实验复盘，而不是只堆用户评论。

考点 显性反馈绑定具体输出
难度 真实面经题
回答目标 建立上线反馈指标闭环
02

深入解析

01

反馈入口要低成本

用户愿意反馈的比例通常不高，所以要提供低成本入口，例如点赞点踩、原因标签、满意度评分、举报、重新生成原因和可选文字说明。关键是让反馈和具体输出绑定，避免只收到模糊意见。

02

隐性行为同样重要

很多用户不会主动评价，但行为会暴露问题。连续重试、频繁改 prompt、生成后不采纳、大量手动编辑、撤销、跳出、复制失败和负向停留，都可以作为质量信号。隐性反馈要结合场景解释，不能简单等同于满意或不满意。

03

指标分模型、体验和业务三层

模型层看准确率、相关性、幻觉率、安全问题和一致性；体验层看响应时延、成功率、采纳率、编辑率和任务完成率；业务层看转化、留存、付费、成本节省或效率提升。三层指标能避免只优化模型分数。

04

反馈必须绑定上下文

每条反馈都应关联用户场景、输入、输出、模型版本、提示词版本、检索结果、工具调用、时间和设备。没有上下文，badcase 很难复现，也无法判断是模型、数据、策略还是交互问题。

05

badcase 要分类和优先级排序

反馈进入队列后要打标签，例如事实错误、拒答不当、格式不符、安全误杀、响应慢、理解错意图或用户预期不符。优先级由影响用户数、业务价值、风险等级、复现概率和修复成本共同决定。

06

用实验验证迭代有效性

上线后的反馈不能只靠人工观察。每次模型、prompt、检索或交互改动都应有前后对比或 A/B 实验，看目标分桶的负反馈是否下降、采纳是否提升、成本和延迟是否可接受。

03

易错点

  • 只收集点赞点踩，不记录对应输入、输出和版本。
  • 只看显性反馈，忽略重试、编辑、撤销和不采纳等隐性信号。
  • 把模型准确率当作唯一指标，不看任务完成和业务结果。
  • badcase 不分类，导致修复方向不明确。
  • 反馈样本直接用于训练，没有清洗、去重和原因标注。
  • 上线改动后不做实验验证，只凭少量评论判断效果。
04

面试官追问

点踩率升高一定代表模型变差吗？

不一定。可能是流量结构变化、入口文案提高了用户预期、反馈入口更明显，或某个场景暴露更多。要按场景、版本和用户分层分析。

如何设计反馈标签？

标签要对应可行动原因，例如事实错误、答非所问、太慢、格式不对、不安全、无法执行、过度拒答。避免只有“差”这种无法指导修复的标签。

隐性行为怎么避免误判？

要结合任务语义和上下文。比如编辑可能是用户个性化，不一定是错误；重试可能是探索更多方案。最好和显性反馈、采纳结果和人工抽检一起看。

badcase 太多时怎么排优先级？

按影响面、风险等级、业务价值、复现频率、修复成本和是否阻塞核心任务排序。高风险和高频核心场景优先。

AI 功能上线初期最该看哪些指标？

先看生成成功率、任务完成率、采纳率、负反馈率、关键安全问题、延迟和成本。等流量稳定后再看留存、转化和长期满意度。

用户反馈如何进入模型迭代？

先清洗和标注，区分模型错误、产品误导和数据缺失，再进入评测集、训练样本、prompt 调整、知识库补齐或规则更新。不是所有反馈都直接拿去训练。