01

60 秒回答模板

我会先把智能客服的目标定义清楚：用户带着问题进入客服链路，系统要尽快理解诉求、给出可靠答复，并在无法解决时顺畅转人工。因此指标不能只看使用量或满意度。第一层看服务结果，比如有效自助解决率、首轮解决率、重复进线率、转人工率、投诉率和问题关闭率；第二层看 AI 回答质量，包括意图识别准确、知识命中、事实正确、指令遵循、拒答合理和幻觉率；第三层看会话体验，比如首响、完整响应耗时、轮次、澄清成功率、中途放弃率和负反馈；第四层看效率与成本，比如人工节省、人工平均处理时长变化、单会话推理成本和高峰稳定性；第五层看风险护栏，包括错误承诺、敏感问题、越权回答和人工兜底。上线时要用 A/B 实验或灰度对比主指标和护栏指标，按问题类型分层分析，并把点踩、转人工、重复进线和投诉样本沉淀成 badcase，回到知识库、提示词、模型和产品流程迭代。

考点 指标金字塔
难度 真实面经题
回答目标 搭建客服指标体系
02

深入解析

01

先定义客服产品的成功口径

智能客服的目标不是让用户多聊天，而是让用户的问题被正确、低成本、可追踪地解决。面试中要先说明客服链路的边界：用户进入、意图识别、AI 答复、必要澄清、问题解决或转人工。只有先定义服务目标，后面的指标才不会变成泛泛的 DAU、留存或点击率。

02

核心结果看解决而不是拦截

最核心的结果指标应是有效自助解决率、首轮解决率、多轮后解决率、重复进线率、转人工率、人工接管后是否还要重问、会话后投诉率和问题关闭率。转人工率下降本身不一定是好事，如果用户没有被解决但被挡在人工入口外，满意度和投诉会恶化，所以要和解决率、负反馈一起看。

03

AI 质量要拆成可诊断维度

客服 AI 的回答质量可以拆成意图识别、知识召回、答案相关性、事实正确性、完整性、拒答合理性、幻觉率和安全合规。离线用标注集、历史 badcase 和人工复核评估；线上结合用户追问、点踩、转人工原因、投诉和人工修正记录。这样能定位是知识缺失、检索失败、模型生成问题还是交互入口不清。

04

体验、效率和成本要同时评估

客服体验包括首响时间、完整响应耗时、平均轮次、澄清成功率、用户中途离开率和排队等待变化。效率指标包括人工节省、人工平均处理时长、人工接管后的处理效率、单会话成本、超时率和失败率。AI 客服常常在质量、速度、成本之间取舍，不能只优化某一个维度。

05

用实验和 badcase 闭环验证迭代

上线前后要把指标放进实验闭环：明确实验假设，按用户或会话随机分流，设定主指标、护栏指标和停止条件，并按问题类型、用户类型和入口渠道分层分析。实验后把低分、转人工、重复进线、投诉和人工纠错样本分类，分别进入知识库补全、提示词调整、模型微调、流程改造或人工兜底策略。

03

易错点

  • 只回答 DAU、使用次数、满意度，没有说明客服问题是否被解决。
  • 把转人工率越低当成绝对好事，忽略错误拦截和投诉风险。
  • 只讲模型准确率，不讲首响、成本、稳定性和人工兜底。
  • 没有 A/B 实验、分层分析和 badcase 回流，指标体系无法指导迭代。
04

面试官追问

如果转人工率下降但满意度也下降，你会怎么分析？

先判断是否把用户挡在人工入口外。分层看问题解决率、重复进线、投诉、点踩和人工接管原因，再检查 AI 是否在高风险或复杂问题上错误拦截。

智能客服的北极星指标应该是什么？

更稳的是有效问题解决，而不是单纯会话量或拦截率。可以用自助解决率、首轮解决率、重复进线率和满意度组合表达。

如何把 badcase 转成产品迭代？

先按意图识别错、知识缺失、检索失败、模型幻觉、流程入口不清、应转人工未转等原因分类，再分别进入知识、模型、提示词、交互和兜底策略。

为什么要按问题类型分层看指标？

不同问题复杂度差异很大，总体指标可能被高频简单问题掩盖。分层后才能发现复杂售后、账号、安全等问题是否被 AI 误处理。