01

60 秒回答模板

MHA 的基础是每个 attention head 都有自己的 Query、Key、Value 投影，表达力强，但自回归推理时每生成一个 token 都要缓存所有历史 token 的 K/V，长上下文和大 batch 下 KV cache 会成为显存和带宽瓶颈。后续的 MQA、GQA 是减少 K/V head 数量，用共享或分组 K/V 降低缓存，但可能损失部分表达能力。DeepSeek MLA 的公开思路是把 Key 和 Value 做低秩联合压缩，在推理时缓存更小的 latent 表示，需要计算时再投影到注意力空间，同时用解耦的位置信息处理 RoPE 这类位置编码问题。它解决的核心不是让注意力复杂度消失，而是显著降低 KV cache 和内存带宽压力，让长上下文和高并发推理更可承受。工程上要评估质量、显存、吞吐、首 token 延迟、每 token 延迟、kernel 支持和训练稳定性，不能只说 MLA 一定比 MHA 好。

考点 从 MHA 开始画
难度 真实面经题
回答目标 讲清注意力改进和 KV cache 压力
02

深入解析

01

MHA 的优势和瓶颈

Multi-Head Attention 让不同 head 学不同关系，例如语义、位置、长距离依赖和局部模式。训练时它表达力强，但推理时问题很明显：每个生成步都要读取历史 K/V cache，模型越大、上下文越长、batch 越大，KV cache 占用和内存带宽压力越大。

02

KV cache 是推理核心瓶颈

自回归生成不会反复计算历史 token 的 K/V，而是把它们缓存下来。这样省计算，但缓存大小大致随层数、head 数、head 维度、序列长度和 batch 增长。长上下文服务中，显存不只被权重占用，KV cache 也会限制并发、上下文长度和吞吐。

03

MQA 和 GQA 的折中

Multi-Query Attention 让多个 query head 共享一组 K/V，Grouped-Query Attention 则让一组 query head 共享一组 K/V。它们都减少了 KV cache，但压缩方式比较直接，可能影响模型表达和质量。回答时可以把它们作为从 MHA 到 MLA 的中间折中：用更少 K/V 换推理效率。

04

MLA 的核心思路

MLA 可以理解为不直接缓存完整 K/V，而是把 K/V 联合压缩到较低维的 latent 表示中，推理时缓存这个压缩表示，再通过投影恢复参与注意力计算的 K/V 相关信息。公开论文还强调对位置编码做解耦处理，避免 RoPE 这类位置信息和低秩压缩直接冲突。

05

DeepSeek MLA 解决的问题

DeepSeek MLA 的工程价值主要在降低 KV cache 体积和读取带宽，让长上下文、大 batch 和多请求并发更容易部署。它不是把注意力变成免费，也不是单独解决所有推理问题；权重加载、矩阵计算、调度、prefill/decode、通信和 kernel 优化仍然重要。

06

评估要看质量和系统指标

面试中不能只背结构名。质量侧要看困惑度、下游任务、长上下文任务、位置敏感任务和退化样本；系统侧要看 KV cache 显存、tokens/s、TTFT、TPOT、batch 上限、P99 延迟和 kernel 成熟度。真正的取舍是少缓存是否值得额外投影和实现复杂度。

03

易错点

  • 只解释 MHA 公式，没有说自回归推理中的 KV cache 瓶颈。
  • 把 MLA 说成普通低秩分解或 LoRA，忽略它针对注意力 K/V cache 的设计目标。
  • 认为 MLA 直接消除了 attention 的计算复杂度，没有区分缓存压缩和计算优化。
  • 把 MQA、GQA、MLA 混成同一个概念，没有说明共享 K/V 与低秩 latent 缓存的差异。
  • 忽略 RoPE 和位置信息处理，导致对 DeepSeek MLA 的技术边界说不清。
  • 只说显存降低，不讨论质量回归、额外投影、kernel 支持和延迟尾部风险。
04

面试官追问

KV cache 为什么会比权重更影响并发？

权重是共享的，而 KV cache 按请求、层、历史长度和 batch 增长。上下文越长、并发越高，每个请求都要占额外缓存，显存和带宽会很快成为瓶颈。

MLA 和 MQA/GQA 最大差异是什么？

MQA/GQA 主要减少 K/V head 数量，MLA 更进一步做 K/V 的低秩联合压缩，缓存压缩后的 latent 表示。它通常实现更复杂，但能更细粒度地压缩 KV cache。

MLA 会不会降低模型质量？

有可能，所以要在预训练或架构设计阶段验证。压缩带来效率收益，但如果表示能力不足，可能影响长上下文、位置敏感和复杂推理任务。

为什么 MLA 要考虑 RoPE 或位置信息？

RoPE 会把位置信息编码进 Q/K，如果直接压缩 K/V，位置信息和内容表示可能耦合得很难恢复。解耦位置相关部分有助于兼顾压缩和位置建模。

MLA 能否替代 FlashAttention？

不是替代关系。MLA 主要改变 KV 表示和缓存压力，FlashAttention 类优化主要改善 attention 计算和显存访问模式。实际系统可能同时需要。

线上评估 MLA 推理收益看哪些指标？

看 KV cache 显存、可承载上下文长度、并发 batch、tokens/s、TTFT、TPOT、P95/P99 延迟、GPU 利用率，以及质量回归测试是否通过。