标签题目
Transformer相关面试题
注意力机制中为什么要计算 Q 和 K 的相似度？
注意力机制计算 Q 和 K 的相似度，是为了让每个位置根据当前查询目标，从所有候选位置中动态分配信息权重。Q 表示当前位置想找什么，K 表示每个位置能被什么条件匹配，相似度越高，对应 V 的信息越应该被聚合进当前表示。
Transformer 中 Q、K、V 分别表示什么？
Transformer 中的 Q、K、V 分别是 Query、Key、Value，是注意力机制对输入向量做三组线性变换得到的表示。Q 用来发起查询，K 用来被匹配，Q 与 K 的相似度决定关注权重，V 承载最终被加权汇聚的信息。
MMDiT 如何处理双流、单流输入并融合文本和图像模态？
MMDiT 的核心不是把文本和图像粗暴拼成一种特征，而是先保留两种模态各自的处理路径，再在注意力层里做联合交互。文本 token 和图像 latent patch token 通常有各自的投影、归一化、调制和前馈网络；进入注意力时分别生成 Q/K/V，再拼接到同一个注意力计算中，让文本与图像能够双向通信。部分架构还会在前面的双流阶段之后进入单流阶段，用统一 Transformer block 继续处理拼接后的 token，但仍通过位置、类型、掩码或前后处理保留模态身份。
图像特征处理用什么网络？
图像特征处理没有单一固定网络，核心是根据任务目标、数据规模、实时性和部署环境选择特征提取骨干网络、任务头和训练策略。传统通用选择是 CNN 骨干，如 ResNet、EfficientNet、MobileNet；如果数据规模较大、需要全局建模或与文本对齐，可以选择 ViT、Swin Transformer 或 CLIP 类多模态编码器；如果是检测、分割、OCR 等结构化任务，还需要 FPN、YOLO、Faster R-CNN、Mask R-CNN、OCR encoder-decoder 等任务头。
mask attention是如何实现的？
Mask attention 的核心是在计算 attention 权重前，对不允许关注的位置加上一个极小值，使这些位置经过 softmax 后权重接近 0。它常用于因果语言建模、padding 屏蔽、局部注意力和结构化可见性约束。
同题还出现在 1 个公司岗位
Self attention的公式是什么，为什么要除以sqrt(dk)？
Self-attention 的常见公式是 Attention(Q,K,V)=softmax(QK^T/sqrt(dk))V。除以 sqrt(dk) 是为了控制点积分数的方差，避免维度较大时 logits 过大导致 softmax 饱和、梯度变小、训练不稳定。
Attention如何计算？
Attention 的核心是用 query 和 key 计算相关性权重，再用这些权重对 value 做加权求和。Transformer 中常见的是 scaled dot-product attention：softmax(QK^T / sqrt(dk))V，多头注意力则并行学习多组关系。
编码解码模型具体怎么实现的？
编码解码模型的实现核心是编码器把输入序列压成上下文表示，解码器基于上下文和已生成 token 逐步输出目标序列。不同实现可以是 RNN seq2seq、attention seq2seq 或 Transformer encoder-decoder。
Transformer 的主要结构和流程是什么？
Transformer 的主线是把序列输入转为 token embedding 和位置编码，经过多层 self-attention 与前馈网络建模上下文，最后输出上下文表示或逐 token 生成结果。
Transformer 相比之前的模型为什么有这么大的提升？
Transformer 的提升主要来自 self-attention 对长距离依赖的直接建模、更强并行训练能力、多头表示学习，以及可扩展到大数据和大模型规模的结构。
Encoder 和 Decoder 中的 Attention 有什么区别？
Encoder 和 Decoder 中 Attention 的核心区别在于可见信息、mask 约束和信息来源不同：Encoder 做双向理解，Decoder 做自回归生成并可能交叉关注 Encoder 输出。
同公司岗位有 2 条面经记录
MHA 中的 Dropout 和 MLP 中的 Dropout 有什么区别？
MHA 中的 Dropout 和 MLP 中的 Dropout 有什么区别？这道腾讯牛客题的关键是围绕“Transformer 中不同位置的 Dropout”讲清概念、机制、取舍和边界。MHA 中的 Dropout 和 MLP 中的 Dropout 目标都是正则化，但作用位置不同。MHA 里常见 Dropout 作用在 attention probabilities 或 attention output 上，影响 token 之间信息汇聚；MLP/FFN 中 Dropout 作用在隐藏层激活或输出上，影响逐 token 的非线性特征变换。
Qwen-VL 如何压缩图片 token，多模态大模型中图像 token 和文本 token 的处理链路有什么差异？
这道题考察多模态大模型里视觉 token 的压缩和图文 token 进入 LLM 前的差异。回答要说清图片先变成连续视觉特征再压缩投影，文本则经过离散 tokenizer 直接得到词向量，两者在融合前的链路不同。
长上下文扩展技术如 YaRN 应如何评测效果，而不只看最大上下文长度？
这题考长上下文扩展的评测方法，回答重点是不能只看最大 token 长度，还要验证检索、推理、稳定性、成本和短上下文回归。
从 MHA 到 MLA，注意力机制为什么要改进，DeepSeek MLA 解决什么问题？
这题考注意力机制从效果优先到推理效率优先的演进，重点是 KV cache 压力、MHA/MQA/GQA/MLA 的取舍和工程评估。
同题还出现在 1 个公司岗位
Q-former 和 Q-fusion 在多模态大模型中有什么区别，分别如何完成视觉-语言交互？
这题考多模态大模型里视觉特征如何和语言模型交互，回答重点是 Q-Former 的查询瓶颈、Q-fusion 的融合位置、跨注意力机制、训练信号和信息压缩取舍。
LLaVA 的整体结构如何把视觉编码器输出接入语言模型？
这题考 LLaVA 的视觉编码器、投影层、语言模型和指令微调流程，回答要讲清视觉特征如何变成 LLM 可消费的 token 表示。
多模态大模型预训练通常分哪些阶段，ViT 视觉编码器如何参与训练？
这题考多模态大模型预训练的阶段拆解，以及 ViT 视觉编码器如何把图片变成可与语言模型对齐的视觉 token。
同公司岗位有 2 条面经记录
Video-LLaMA 如何把视频、音频和语言模块连接成多模态理解模型？
这题考 Video-LLaMA 类视频多模态模型的模块连接方式，回答重点是视频帧编码、时间信息聚合、音频分支、投影对齐和语言模型生成。
如何用代码实现 Multi-Head Cross-Attention，Q/K/V 的输入维度如何对齐？
这题考手写 Multi-Head Cross-Attention 的维度理解和实现顺序，回答重点是 Q 来自目标序列，K/V 来自条件序列，以及多头拆分、mask 和输出合并。
CLIP 和 BEiT v3 在训练目标、输入建模和图文对齐方式上有什么区别？
这题考 CLIP 和 BEiT v3 的建模范式差异，回答重点是双塔对比学习、统一多模态建模、输入交互方式和适用任务取舍。
BEiT v3 相比 BEiT v2 的 embedding 设计有什么变化？
这题考 BEiT v3 相比 BEiT v2 在输入 embedding 和多模态建模上的变化，回答重点是从图像侧表示学习扩展到图像、文本和图文统一输入。
ViT 如何把 224x224x3 图像切成 patch 序列，sequence length 如何计算？
这题考 ViT 把图像切成 patch 后如何形成 token 序列，回答重点是 patch 数量、每个 patch 的展平维度、线性投影、位置编码和 CLS token。
同题还出现在 2 个公司岗位
Transformer 中绝对位置编码和相对位置编码如何实现，各自适合什么场景？
这题考 Transformer 位置信息注入方式，重点是绝对位置编码直接表示当前位置，相对位置编码在注意力中建模 token 间距离和方向。
同题还出现在 1 个公司岗位
给定输入 shape 为 (b, s, h)，如何估算 Multi-Head Attention 的计算量？
这题考给定输入 shape 为 (b, s, h) 时如何估算 MHA 计算量，回答重点是 QKV 投影、注意力矩阵、加权求和和输出投影，其中长序列瓶颈来自 O(b s^2 h)。
FlashAttention 的核心原理是什么，为什么能降低长序列 attention 的显存和 IO 开销？
这题考 FlashAttention 的 IO-aware 原理，回答重点是它不改变标准 attention 数学结果，而是通过分块、在线 softmax 和重计算减少显存读写。
同题还出现在 1 个公司岗位
为什么 RMSNorm 在大模型中比 LayerNorm 更常见？
这题考 RMSNorm 为什么在大模型中常见，回答重点是它去掉均值中心化，只按均方根做尺度归一化，计算更简单且通常足够稳定。
Transformer FFN 为什么通常先升维再降维，这对表达能力和计算量有什么影响？
这题考 Transformer MLP/FFN 的基本机制：逐 token 的非线性变换、扩展中间维提升表达能力，再投回 hidden size 以便残差连接和层间堆叠。
Qwen 这类图文多模态大模型接入图像理解时，视觉编码、图文对齐和 token 成本有哪些技术难点？
这题考图文多模态大模型接入图像理解的关键工程和算法难点，重点是视觉特征如何进入语言模型、图文语义如何对齐，以及视觉 token 成本如何在效果和延迟之间取舍。
BLIP 在图文理解和生成任务中如何组织视觉编码、文本编码和跨模态学习目标？
这题考 BLIP 作为图文预训练框架的整体理解：视觉编码器提取图像 token，文本模块在编码和解码模式间复用，并通过对比、匹配和语言建模目标同时支持理解与生成。
为什么主流大语言模型多采用 Decoder-only 架构？相比 Encoder-only 和 Encoder-Decoder，它在训练目标、推理效率和产品能力上有哪些取舍？
这题考候选人是否能把 Decoder-only 的流行讲清楚：它不是单纯结构更先进，而是在自回归训练、生成式推理、规模化训练和产品通用能力之间形成了更顺手的工程取舍。
LLaMA 这类大模型的输入长度为什么不能无限增长？位置编码、注意力/KV Cache 成本和训练长度分布分别带来哪些限制？
这题考候选人能否从 Transformer 机制解释输入长度边界：位置编码决定模型如何理解顺序，注意力和 KV Cache 决定计算与显存成本，训练长度分布决定长上下文泛化是否可靠。
Transformer 和 CNN 的核心区别是什么，在视觉任务中如何从局部归纳偏置、全局建模、数据规模和计算成本做选择？
这题考的是能否把 CNN 和 Transformer 的差异讲到建模假设与工程选择：CNN 强局部归纳偏置、参数共享和高效滑动计算，Transformer 强全局关系建模和可扩展表征但更依赖数据与算力。
多头注意力相比单头注意力有什么优势，各个 head 的输出如何拼接并通过输出投影融合？
这题考多头注意力的表示机制和实现细节，重点是说明多个 head 在不同子空间独立做注意力，输出先按特征维拼接，再由输出投影学习跨 head 融合。
大模型与 2020 年前传统模型的本质区别是什么？
这题考的是对大模型范式变化的理解：本质区别不只是参数更多，而是从任务专用模型转向大规模预训练、通用表示、自然语言交互、上下文学习和工程化治理并存的基础模型范式。
同题还出现在 1 个公司岗位
催生大模型出现的核心原因是什么？
这题考的是能否把大模型出现解释为多因素合流：海量数据、可扩展算力、Transformer 架构、自监督预训练、工程生态、对齐技术和产品需求共同把通用模型推到可用临界点。
大语言模型的 next-token 预测过程是什么，输入 token、上下文、logits/概率分布和解码策略如何共同产生回答？
这题考 LLM 推理基本原理：候选人要能从 tokenization、Transformer 上下文建模、logits、softmax 概率和解码策略讲清楚回答是如何逐 token 生成的。
同题还出现在 1 个公司岗位
连接视觉编码器和 LLM 时，Q-Former 与 LLaVA MLP Adaptor 各有什么优缺点，如何选择？
这题考多模态大模型里视觉特征到语言模型 token 空间的连接器设计。好的回答要说明二者都在解决维度对齐、语义对齐、信息压缩和训练稳定性问题，但 Q-Former 更像带可学习查询的语义压缩器，MLP projector 更像简单直接的视觉 token 映射器，选择取决于数据规模、视觉细节需求、上下文预算、延迟和冻结策略。
如何手写 Multi-Head Self-Attention，Q/K/V 投影、分头、mask 和输出拼接如何实现？
这题考 Transformer 注意力层的可实现细节。好的回答不能只背公式，而要讲清输入输出形状、Q/K/V 一次投影或三次投影、head 维度拆分、scaled dot-product attention、padding/causal mask 广播、softmax/dropout、head 合并、输出投影以及常见数值和 shape bug。
同题还出现在 1 个公司岗位
Transformer 推理阶段为什么 KV Cache 只缓存 K 和 V，而通常不缓存当前步的 Q？
这题考的是自回归推理中 attention 计算复用的本质：历史 token 的 K/V 会在未来每一步被反复访问，而 Q 只属于当前查询 token，用完即可丢弃，所以缓存 K/V 能省重复计算，缓存 Q 通常没有收益。
Transformer 中 Pre-Norm 和 Post-Norm 有什么区别，为什么会影响深层模型训练稳定性？
这题考的是 Transformer 残差块里 LayerNorm 放置位置对梯度流和深层训练的影响：Pre-Norm 更利于深层稳定训练，Post-Norm 表达形式经典但更依赖 warmup、初始化和训练技巧，二者还有最终性能与稳定性的取舍。
同题还出现在 1 个公司岗位
视觉 Transformer 处理非均匀采样 3D 点云时，Patch Embedding 应如何改进？
这题考的是把 2D ViT 的 Patch Embedding 思路迁移到 3D 点云时，如何处理点云无序、非均匀密度、局部几何和变长邻域。好的回答不能只说把点云分块后送 Transformer，而要讲清采样中心、邻域构造、密度归一、局部聚合、3D 位置编码和多尺度鲁棒性。
Qwen 这类大模型中的 SwiGLU 激活函数有什么作用，相比传统 FFN 激活函数有哪些优势？
这题考的是候选人是否理解现代 Transformer 前馈网络里的门控激活机制：SwiGLU 不是一个简单替换 GELU 的名字，而是通过 gate/value 两路投影和逐元素乘法提升 FFN 的表达能力与训练效果。
同公司岗位有 2 条面经记录
Qwen 支持 128K 长上下文时，如何降低显存占用和注意力计算复杂度？
Qwen 这类支持 128K 长上下文的大模型，不能只靠把最大位置编码拉长来解决问题，核心挑战是注意力计算随序列长度接近平方增长、KV cache 随层数和上下文长度线性增长、训练激活和通信也会放大。常见工程组合包括 RoPE 外推或缩放、FlashAttention 类内存高效注意力、GQA/MQA 降低 KV cache、paged/quantized KV cache、chunked prefill、序列并行或 context parallel、激活重计算，以及在可接受的质量边界内使用滑窗、稀疏或分块注意力。回答时要区分降低显存峰值、降低 KV cache、降低真实计算复杂度三件事。
多模态模型中跨模态注意力机制如何设计，如何举例说明不同模态 token 的对齐和融合？
这题考多模态 Transformer 中跨模态注意力的设计能力。好的回答要讲清楚不同模态 token 如何产生、如何注入位置和类型信息、如何做 cross-attention 或 co-attention、如何处理长度差异和噪声、如何训练对齐，并用图文例子说明文字 token 通过 query 关注图像 patch 或 object token，从而把语义、空间位置和细粒度属性融合起来。
文生图模型的核心框架如何设计，文本编码器、生成主干和图像解码器如何协同？
这题考文生图模型的整体框架理解。好的回答要讲清楚文本编码器把 prompt 变成条件表示，生成主干通常在像素或 latent 空间逐步生成图像，图像解码器把 latent 还原为像素；同时要说明 cross-attention、扩散噪声预测、时间步条件、classifier-free guidance、VAE 编解码、训练损失和推理采样如何协同。
CV 任务中的注意力机制有哪些应用，通道注意力、空间注意力和自注意力分别解决什么问题？
这题考的是对视觉注意力的结构化理解：注意力不是一个单一模块，而是从通道、空间、像素/patch 关系、跨尺度和跨模态等角度重新分配特征权重。好的回答要能区分通道注意力解决“看哪些语义特征”、空间注意力解决“关注哪些空间位置”、自注意力解决“建模长距离关系”，并结合分类、检测、分割、ReID、视频和 OCR 讲应用与代价。
Qwen 各代模型结构演进通常体现在哪些方面，如何从注意力结构、长上下文、多模态能力和推理效率回答？
这题考的是能否用公开模型家族演进的视角解释 Qwen 结构变化，而不是背某一代的内部参数。好的回答应按 Transformer 基座、注意力与 KV Cache、长上下文扩展、多模态接入、训练与推理效率几个维度展开，并说明这些变化分别解决吞吐、上下文长度、跨模态理解和部署成本问题。