Agent 系统中，如何在响应速度与推理精度之间做取舍，并验证优化效果？

60 秒回答模板

Agent 的速度和推理精度不是简单二选一。合理做法是按任务风险和价值分层：低风险任务走快速路径，高价值复杂任务走深度推理或多步检索，并用可回放评测和线上 A/B 判断每个优化是否值得。 任务先分层：按风险、用户等待容忍度、业务价值、证据需求和可逆性分成快速回答、检索增强、深度规划和人工确认。不同层使用不同模型、上下文和工具预算。 级联降低平均延迟：先用轻量模型、缓存、关键词/向量召回或规则判断能否解决；不能解决再升级到更大模型、Rerank、多轮规划或多 Agent 校验。 并行和早停结合：可并行检索多个索引、并发调用无依赖工具、让模型边生成边校验关键槽位。若低成本路径已达到置信阈值，应早停而不是继续跑完整链路。 精度要有证据约束：提升推理精度不能只增加思考长度。要引入证据召回、结构化中间状态、工具结果校验和答案一致性检查，避免慢但仍然错。 验证看端到端收益：离线看任务成功率、证据正确率和错误类型；线上看 TTFT、总耗时、放弃率、满意度、成本和人工接管率。最终以分层策略的整体收益为准。 最后要把方案落到可验证的指标、失败兜底和迭代闭环上。面试里不要只讲概念名词，要说明边界、取舍、数据来源、线上观测和出问题后的回滚或人工介入。