真实面经题目 · 原创解析
这题考察的不是“GQA 是什么”这一层概念，而是如何把一个已经训练好的 MHA checkpoint 工程化迁移成 GQA，并解释初始化和继续训练各自承担的职责。核心答案应先说明结构变化：MHA 中每个 Query Head 通常有独立的 K/V Head，而 GQA 把多个 Query Head 分成一组，共享同一组 K/V 投影，从而减少 KV Cache、显存带宽和解码阶段访存。迁移时不能随机初始化 K/V，否则模型等于突然丢失大量注意力记忆能力；因此通常用 KV Head 合并做 warm start，例如按组平均、加权平均、选择代表头或用聚类合并 K/V 权重。这个初始化解决“结构对齐和功能尽量连续”的问题；继续训练或 uptraining 解决“合并带来的表达能力损失、注意力分布偏移和层间统计不匹配”的问题。高质量回答还要补充训练数据配比、学习率、冻结策略、评估指标和推理收益验证。
我会把 MHA 改 GQA 分成结构改造、权重初始化和 uptraining 三步。原来 MHA 有 `Hq` 个 Query Head，也有接近 `Hq` 个 KV Head；GQA 设 `Hkv < Hq`，每 `g = Hq / Hkv` 个 Query Head 共享一个 K/V Head，所以解码 KV Cache 大约从 `2 * L * Hq * d_head` 降到 `2 * L * Hkv * d_head`。改 checkpoint 时，Q 和 O 投影通常可以保留，K/V 投影要按组从多个 MHA KV Head 合并成一个 GQA KV Head，常见做法是组内平均、按头重要性加权平均，或者基于注意力相似度/权重相似度聚类后合并。这个合并初始化的作用是让新结构一开始尽量接近原模型函数，避免随机 K/V 导致 loss 爆炸。继续训练的作用不同，它要让模型重新适应共享 KV 带来的容量下降，修复注意力分布、LayerNorm 统计和下游任务能力的偏移。验证时我会同时看困惑度、长上下文任务、指令/安全评测，以及线上推理的 KV Cache 显存、tokens/s、p95 延迟和质量退化是否在可接受范围内。
MHA 的每个注意力头都有自己的 Q/K/V 表示，推理解码时每生成一个 token 都要保存每层所有 K/V Head 的历史缓存。GQA 保留较多 Query Head 来维持查询表达能力，但减少 K/V Head 数量，让一组 Query Head 共享同一个 K/V Head。若 `Hq=32`、`Hkv=8`，则每 4 个 Query Head 共享一组 K/V，KV Cache 和相关访存大致降为 MHA 的 `8/32=25%`。这种收益主要体现在自回归 decode 阶段，因为 decode 常受 KV Cache 读取、显存带宽和 batch 扩展能力限制；prefill 阶段仍有完整 attention 计算，收益相对不同。
已训练 MHA 的 K/V Head 已经形成分工：有的头偏局部依赖，有的头偏实体、位置或语义模式。直接把 GQA 的 K/V 随机初始化，会让 Query Head 面对完全陌生的 key/value 空间，短期内语言建模能力急剧下降。因此迁移时要把多个 MHA KV Head 合成更少的 GQA KV Head。简单做法是按照目标分组做权重平均：`W_K^g = mean(W_K^{h in group})`，`W_V^g = mean(W_V^{h in group})`；更稳的做法是按头重要性、激活范数、注意力熵、下游贡献加权，或先根据权重/激活/注意力模式相似度聚类，再合并相似头。初始化的目标不是一步恢复全部能力，而是把新模型放到原模型附近的可训练区域。
KV 合并只是在参数空间里做近似，不能消除共享 K/V 带来的表达能力下降。Uptraining 要让 Query Head 重新学习如何使用共享 K/V，让被平均掉的头分工重新分配到 Q 投影、输出投影和 FFN 等剩余容量中。训练通常使用原预训练分布的一小部分 token，加上指令、代码、长上下文或目标业务数据；学习率要比从头训练小，避免破坏原模型能力。可以选择全参继续训练，也可以先只训练 attention 相关参数或短期冻结部分层，再放开全参。训练目标仍以 LM loss 为主，必要时加蒸馏损失，例如对齐原 MHA 模型 logits 或 attention 输出，降低迁移退化。
质量侧至少看 `ΔPPL = PPL_GQA - PPL_MHA`、下游 benchmark 分差、长上下文任务通过率、指令遵循胜率和安全评测；工程侧看 KV Cache：`CacheBytes ≈ layers * batch * seq_len * 2 * Hkv * d_head * bytes_per_elem`，GQA 相对 MHA 的理论 KV Cache 比例约为 `Hkv/Hq`。延迟侧要分 prefill 和 decode：decode 更关注 `tokens/s`、TTFT 后单 token 延迟、p95/p99、最大 batch size；成本侧看同显存下并发提升和单位 token 成本下降。最终不是只追求 cache 最小，而是找 `质量损失 <= 阈值` 且 `吞吐/成本收益显著` 的 `Hkv`。
实施时先确定目标组数，例如从 MHA 的 32 KV Head 改成 8 或 4 个 KV Head；然后修改模型 config 中的 `num_attention_heads`、`num_key_value_heads`、head_dim 和权重 shape 映射逻辑。转换脚本要逐层读取 K/V projection 权重，按分组策略合并，并确保 tensor layout 与框架一致；Q、O、MLP、Embedding 通常直接继承。推理框架还要确认支持 GQA 的 KV Cache layout，否则模型结构虽然变了，缓存和 kernel 未必能正确复用。训练后要导出新 checkpoint，跑数值 smoke test，检查相同输入下 logits 无 NaN、cache shape 正确、增量解码与全量解码一致。
离线阶段用原 MHA 作为 teacher 和 baseline，比较 PPL、任务集、长文本、多语言、代码、工具调用等能力，并专门看迁移后易受影响的长距离依赖和稀有模式。工程压测要覆盖不同 batch、context length、并发和 GPU 类型，拆分 prefill/decode 指标，验证理论 cache 节省是否真的转成吞吐或成本收益。线上灰度不能只看平均满意度，应监控 answer quality、人评偏好、投诉率、超时率、OOM、fallback 比例和单位请求成本。若质量损失集中在特定场景，可以补场景数据继续 uptraining，而不是盲目增大 `Hkv`。
常见失败包括：把不相似的头平均导致关键信息被抹平；只看短文本 PPL，忽略长上下文退化；uptraining token 太少或分布太窄，模型在通用能力上遗忘；学习率过大导致原能力被破坏；推理框架的 cache layout 与训练结构不一致，出现隐蔽数值问题。另一个误区是只报告 KV Cache 理论节省，但线上延迟瓶颈可能在 prefill、调度或网络，此时 GQA 的 ROI 会低于预期。
平均是最简单、可复现的 baseline，但不一定最优。如果原头分工差异很大，平均会冲淡专门化能力。更好的策略是先按注意力模式、权重相似度、激活相似度或 head importance 聚类，把相似头合并；也可以用 teacher logits 或下游敏感度给不同头加权。面试里可以先给平均公式，再补充聚类/加权是质量优化点。
只训练 K/V 可以降低训练成本，但 GQA 的影响会传导到 Q 如何查询、O 如何混合、多层 residual 如何使用注意力输出。若只训练 K/V，恢复能力可能受限。实践中可以先用局部训练稳定模型，再放开 attention 或全参；如果成本严格，也可以用 LoRA/adapter，但要用任务质量证明足够。
MQA 是所有 Query Head 共享一组 K/V，相当于 `Hkv=1`，KV Cache 最省但容量压缩最大；GQA 是折中，`1 < Hkv < Hq`。从 MHA 迁移时，MQA 合并更激进，uptraining 难度和质量损失风险更高；GQA 可以用分组保留更多 K/V 多样性，通常更适合大模型质量与推理成本的平衡。
不能只看训练 loss 收敛。应看相对原 MHA 的 PPL 差距是否稳定缩小，关键 benchmark 是否恢复，长上下文和业务高频任务是否过线，且继续训练收益进入平台期。同时压测确认 cache 节省转化为吞吐/成本收益。如果质量仍在特定场景掉点，应补对应数据或调整 `Hkv`，而不是无限训练通用语料。
