真实面经题目 · 原创解析
多轮对话中 Attention 为什么可能导致历史信息衰减?
多轮对话中历史信息衰减,不是 Attention 单一机制的错误,而是注意力权重竞争、上下文窗口容量、位置距离、长文本噪声、摘要压缩、KV cache 截断等因素叠加后的结果。核心现象是:随着新轮次不断加入,早期信息虽然可能仍在上下文中,但在模型计算当前 token 时获得的有效影响力下降,甚至被截断、压缩或检索失败,从而表现为遗忘、答非所问或前后不一致。
这道题出现在阿里巴巴算法工程师和阿里巴巴 AI 应用开发工程师的面经里(面试大师面经题库,2026 年 5–6 月整理)。