电商客服 Agent 覆盖商品咨询、售后咨询和投诉安抚时，如何设计离线评测集、线上指标、用户满意度和提效口径来判断效果好坏？

60 秒回答模板

电商客服 Agent 不能只用准确率评价。商品咨询、售后咨询和投诉安抚的目标不同，评测要同时看问题解决、用户体验、人工效率、业务风险和长期迭代。 离线评测集分场景：按商品咨询、订单物流、售后政策、退款争议、投诉安抚、活动规则和异常长尾分桶。每类样本要有标准答案、证据、风险标签和是否应转人工，并覆盖高频、长尾和高风险问题。 线上指标看闭环：核心看自助解决率、首触解决率、人工接管率、重复进线率、平均处理时长、转人工后坐席采纳率和工单有效率。指标要按场景分桶，否则整体提升可能掩盖投诉场景退化。 满意度要防偏：用户满意度可结合评价、投诉、会话中断、追问次数和人工申诉。只看点赞率会受样本选择和用户情绪影响，也容易忽略沉默流失和重复进线。 提效口径要算净收益：提效不是减少人工入口这么简单，要扣除误答补救、人工复核、知识维护、模型成本和投诉处理成本，计算净节省和体验变化，并和人工基线做同口径对比。 风险和回流：监控越权承诺、价格/库存错误、退款误导、隐私泄露和情绪升级。badcase 要回流到知识库、Prompt、工具规则和评测集。 最后要把方案落到可验证的指标、失败兜底和迭代闭环上。面试里不要只讲概念名词，要说明边界、取舍、数据来源、线上观测和出问题后的回滚或人工介入。