标签题目
Transformer相关面试题第 2 页
推荐系统中如何把 Transformer 行为序列表征接入 DIN 式目标兴趣建模？
这道题考察的是推荐序列建模和目标兴趣抽取的组合设计。高质量回答要说明：Transformer 适合把用户历史行为编码成带上下文的序列表征，DIN 的价值在于针对当前候选物品做 target-aware attention；工程上不能只拿一个全局向量，要处理时间因果、候选量、缓存、延迟和线上线下一致。
Transformer 为什么使用正弦/余弦位置编码，相比可学习位置向量有哪些好处和局限？
这道题考察 Transformer 位置信息的基本原理和边界。好答案要先说明 self-attention 本身不感知顺序，再解释正弦/余弦位置编码的多频率、无参数、可按公式外推和相对位移线性性质，同时承认固定绝对位置编码不等于长上下文能力，现代模型常用 RoPE、ALiBi 或相对位置方法。
BERT 的 token、segment、position embedding 为什么通常相加而不是 concat？
这道题考察 BERT 输入层的维度和架构取舍。Token、segment、position embedding 相加，是为了把词义、句子归属和位置注入同一个 hidden space，保持后续 Transformer 维度、参数量和残差结构稳定；concat 虽然看似保留边界，但会放大后续 Q/K/V、FFN 参数和推理成本，通常收益不明确。
大语言模型的参数量具体指什么，如何估算一个 Transformer Block 的参数规模？
这道题考察模型参数量的数量级推导能力。参数量是可训练权重标量的数量，不等于显存、FLOPs 或上下文长度。好答案要能用 hidden size、FFN 中间维度、层数、词表大小估算一个 Transformer block，并说明 GQA/MQA、SwiGLU、MoE、权重共享、LoRA 和量化对成本含义的影响。
常见预训练模型可以如何分类？它们在架构、训练目标和适用任务上有什么差别？
常见预训练模型可以按架构分为 encoder-only、decoder-only、encoder-decoder，以及对比学习或多模态模型。核心差别来自信息流方向、训练目标和下游任务形态：BERT 类 encoder 更适合理解、分类、抽取；GPT 类 decoder 更适合生成和对话；T5/BART 类 encoder-decoder 更适合输入到输出的转换；CLIP 等对比学习模型更适合检索、匹配和跨模态对齐。
BERT 通常如何做分词，WordPiece 如何处理未登录词，特殊 token 在输入构造中有什么作用？
这题考 BERT 输入构造的基础细节。答案要说明 BERT 通常先做 BasicTokenizer，再做 WordPiece 子词切分；WordPiece 用最长匹配处理词表内子词，无法拆解时用 [UNK]；同时讲清 [CLS]、[SEP]、[MASK]、[PAD]、attention mask 和 token type ids 的作用。
LLaMA 2 中的 GQA 是什么，它如何减少 KV heads、降低 KV Cache 和带宽开销，并影响训练与推理效率？
这道题考察 GQA 的注意力结构和 KV Cache 推理瓶颈。回答要先把 MHA、MQA、GQA 放在一条线上：MHA 每个 query head 有自己的 K/V head，MQA 所有 query head 共用一组 K/V，GQA 则让一组 query heads 共用一个 K/V head。它减少的是 KV heads 数量，从而降低 K/V projection 输出、KV Cache 存储、decode 阶段缓存读取带宽和跨卡通信压力。关键是不要把 GQA 只说成训练加速；它对长上下文自回归推理的内存带宽收益更直接，同时在质量和效率之间比 MQA 更折中。
如何将已有 MHA 大模型改造成 GQA？KV Head 权重合并初始化和继续训练分别解决什么问题？
这题考察的不是“GQA 是什么”这一层概念，而是如何把一个已经训练好的 MHA checkpoint 工程化迁移成 GQA，并解释初始化和继续训练各自承担的职责。核心答案应先说明结构变化：MHA 中每个 Query Head 通常有独立的 K/V Head，而 GQA 把多个 Query Head 分成一组，共享同一组 K/V 投影，从而减少 KV Cache、显存带宽和解码阶段访存。迁移时不能随机初始化 K/V，否则模型等于突然丢失大量注意力记忆能力；因此通常用 KV Head 合并做 warm start，例如按组平均、加权平均、选择代表头或用聚类合并 K/V 权重。这个初始化解决“结构对齐和功能尽量连续”的问题；继续训练或 uptraining 解决“合并带来的表达能力损失、注意力分布偏移和层间统计不匹配”的问题。高质量回答还要补充训练数据配比、学习率、冻结策略、评估指标和推理收益验证。
如何用 PyTorch 实现 Grouped Query Attention？当 Q heads 多于 KV heads 时，K/V heads 应如何分组、repeat 或 broadcast，并完成 attention score、mask、softmax 和输出投影？
这道题考察候选人是否理解 Grouped Query Attention 的 head 形状和实现细节。回答要讲清 Q heads 与 KV heads 的分组关系，如何 repeat K/V，如何计算 mask、softmax 和输出投影。
多模态大模型如何支持动态分辨率输入，位置编码应如何设计以兼顾长宽比、局部细节和视觉 token 成本？
这题考 VLM 视觉输入工程。回答要讲动态分辨率切分、视觉 token 预算、位置编码、长宽比保留、局部细节和训练推理一致性。