知识点标签

模型训练面试题解析第 4 页

模型训练相关面试题解析，按真实面经题目沉淀核心机制、易错点和面试官追问。

230 道题 9 个岗位 21 个公司

标签题目

模型训练相关面试题第 4 页

阿里巴巴 / 算法

如何手写 Multi-Head Self-Attention，Q/K/V 投影、分头、mask 和输出拼接如何实现？

这题考 Transformer 注意力层的可实现细节。好的回答不能只背公式，而要讲清输入输出形状、Q/K/V 一次投影或三次投影、head 维度拆分、scaled dot-product attention、padding/causal mask 广播、softmax/dropout、head 合并、输出投影以及常见数值和 shape bug。

同题还出现在 1 个公司岗位

手写题 Transformer 注意力机制 大语言模型 神经网络 模型训练
百度 / 后端开发

Agent 微调中如何选择和清洗训练样本，哪些样本质量问题最容易改变模型行为？

这题考 Agent 微调数据的样本选择与清洗能力。与普通 SFT 不同，Agent 样本不仅有问答文本，还包含意图、计划、工具选择、参数、工具结果、状态变化、安全边界和最终回复。回答要说明哪些样本值得训练、哪些噪声会改变模型行为，以及如何用指标验证。

同题还出现在 1 个公司岗位

AI Agent 模型微调 SFT 模型训练 隐私保护 质量工程
百度 / 算法

PPO clip 在 advantage 为正或为负时分别限制什么，为什么这样能稳定策略更新？

这题考 PPO clipped surrogate objective 的符号细节。好的回答要能从 r(theta)=pi_new(a|s)/pi_old(a|s) 和 advantage A 的正负出发说明：A 为正时，这个动作比预期好，PPO 限制新策略把它概率提高得过多，也就是限制 ratio 的上界；A 为负时，这个动作比预期差，PPO 限制新策略把它概率降低得过多，也就是限制 ratio 的下界。这样用保守目标抑制单步策略漂移，从而提升训练稳定性。

大语言模型 强化学习 RLHF 模型训练 模型评估
京东 / 算法

LoRA 微调通常插入哪些层，epoch、learning_rate 等常用训练参数如何设置？

这题考 LoRA 微调的工程落点：适配器插到哪些线性层，常用 rank、alpha、dropout、epoch、learning_rate、batch 和 scheduler 如何取舍。好的回答不能只说冻结原模型、训练低秩矩阵，而要能根据任务类型、数据规模、显存预算和过拟合风险解释从 q/v 到 attention+MLP 的 target module 选择，以及为什么 LoRA 学习率通常比全参微调更高但仍需验证集约束。

大语言模型 模型微调 模型训练 SFT
京东 / 算法

训练中把 loss 除以 10 和把学习率除以 10 有什么区别？

这题考优化器细节：把 loss 除以 10 会先把反向传播得到的梯度缩小 10 倍；把学习率除以 10 是在优化器更新参数时缩小 step size。二者在最简单的无动量 SGD、无正则、无裁剪场景下近似等价，但在 Adam/AdamW、动量、weight decay、gradient clipping、混合精度、多任务 loss、分布式梯度累积等真实训练中会产生明显差异。

模型训练 神经网络
百度 / 算法

大模型后训练中，PPO 为什么通常被视为 on-policy，importance sampling 起什么作用？

PPO 通常被视为 on-policy，是因为它的训练样本来自当前或刚刚冻结的行为策略，更新只在这批新 rollout 附近做有限幅度的策略改进，而不是长期复用任意历史策略产生的数据。importance sampling 在 PPO 中主要通过新旧策略概率比修正采样策略和待优化策略之间的小偏差，使我们能用旧策略采到的样本估计新策略目标；但由于只修正动作概率、对状态分布偏移和大幅策略漂移无能为力，所以它不能把 PPO 变成真正意义上的通用 off-policy 算法。

大语言模型 强化学习 RLHF 模型训练 模型评估
阿里巴巴 / 算法

Qwen 这类大模型做多语言支持时，数据配比、分词、对齐训练和评估应如何设计？

Qwen 这类大模型做多语言支持时，设计重点不是简单增加几种语言语料，而是要在数据配比、tokenizer 覆盖、跨语言指令对齐、偏好训练、安全策略和评估体系之间做平衡。高资源语言提供通用能力和知识密度，低资源语言需要通过采样温度、质量过滤、合成数据和翻译增强避免被淹没；tokenizer 要兼顾不同文字系统的压缩率和 byte fallback；对齐训练要避免只对中文或英文有效；评估也要覆盖语言质量、任务能力、文化语境、安全和 code-switch 等真实场景。

通义千问 大语言模型 模型训练 模型评估 质量工程
阿里巴巴 / 算法

大模型训练显存如何估算，参数、梯度、优化器状态、激活和临时缓存各占哪些部分？

大模型训练显存可以先拆成 model states、activations、temporary buffers、通信缓存和碎片/框架开销。model states 包括参数、梯度和优化器状态；以 Adam 混合精度训练为例，常见粗估是参数 bf16/fp16 2P、梯度 2P、Adam 一阶和二阶矩 fp32 8P、可选 fp32 master weights 4P，总计约 12P 到 16P bytes。除此之外，activation 随 batch、sequence length、hidden size 和层数增长，长上下文 attention 还可能带来平方项；临时缓存包括 attention workspace、GEMM workspace、logits、通信 bucket、all-gather buffer 和内存碎片。估算时要同时考虑并行策略、ZeRO 分片、activation checkpointing、精度和 micro-batch。

同题还出现在 1 个公司岗位

大语言模型 模型训练 内存管理 GPU 性能排查
小米 / 算法

文生图模型的核心框架如何设计，文本编码器、生成主干和图像解码器如何协同？

这题考文生图模型的整体框架理解。好的回答要讲清楚文本编码器把 prompt 变成条件表示，生成主干通常在像素或 latent 空间逐步生成图像，图像解码器把 latent 还原为像素；同时要说明 cross-attention、扩散噪声预测、时间步条件、classifier-free guidance、VAE 编解码、训练损失和推理采样如何协同。

多模态学习 计算机视觉 Transformer 大语言模型 模型训练
快手 / 算法

SmoothQuant 为什么要做 activation/weight 平滑？平滑参数如何设定，用激活分布判断模型是否适合时应关注 input channel 还是 output channel？

这道题考察对 SmoothQuant 的核心动机、等价变换和校准维度的理解。回答时要先说明 LLM 的激活 outlier 会让 INT8 activation 量化特别困难，而 SmoothQuant 通过按输入通道缩放，把一部分动态范围压力从 activation 平滑地迁移到 weight 上，从而让 W8A8 推理更稳定。关键点不是笼统地说做归一化，而是说明缩放不改变浮点计算语义、参数需要用校准集和逐层误差选择，并明确判断激活分布时主要看线性层的 input channel 维度。

大语言模型 大模型推理 模型训练 模型评估 GPU 性能排查
快手 / 算法

分布式 LLM 训练中 AllReduce、AllGather、ReduceScatter 和 AllToAll 分别解决什么通信问题，哪些并行场景会用到它们？

这道题考察分布式训练中 collective communication 的语义和并行策略映射。回答要先把 AllReduce、AllGather、ReduceScatter、AllToAll 的输入输出关系讲清，再说明它们分别解决梯度汇总、参数或激活拼接、归约后分片、个性化交换等问题。进一步要能联系数据并行、张量并行、ZeRO/FSDP、序列并行、专家并行和 MoE token dispatch，指出通信量、同步开销、拓扑和 overlap 对训练效率的影响。

大语言模型 模型训练 分布式系统 GPU CUDA 性能排查
字节跳动 / 算法

如何根据模型参数量、训练 token 数、FLOPs、GPU 数量和硬件利用率估算 LLM 训练时间？

这道题考察能否把 LLM 训练时间从经验判断转成可计算的工程估算。核心公式是总训练 FLOPs 除以集群有效算力：dense decoder-only 模型可用约 6 × 参数量 × token 数估算前向加反向训练 FLOPs，再除以 GPU 数、单卡峰值 FLOPs 和硬件利用率或 MFU。好的回答还要说明单位换算、序列长度和 attention 开销、MoE active 参数、数据并行扩展效率、checkpoint/eval/restart 等 wall-clock 修正因素。

大语言模型 模型训练 GPU 性能排查 性能分析
字节跳动 / 算法

LLM 训练过程中应该监控哪些指标，如何用 loss、梯度、吞吐、显存、GPU 利用率、checkpoint 和评测集发现异常？

这道题考察 LLM 训练监控体系，而不是只问 loss 曲线。完整回答要覆盖模型质量、数值稳定性、吞吐性能、资源利用、数据管道、checkpoint 可靠性和周期评测。更重要的是说明如何用这些指标定位异常：loss spike 可能来自坏数据或学习率问题，梯度爆炸会伴随 grad norm 和 NaN，吞吐下降可能来自 dataloader、通信或 straggler，显存增长可能是泄漏或碎片，评测集退化可能暴露过拟合、数据污染或训练分布偏移。

大语言模型 模型训练 可观测性 GPU 问题排查 模型评估
字节跳动 / 算法

LLM 预训练数据清洗中，如何结合质量模型、PPL、去重和领域规则过滤更适合模型学习的数据？

这题考的是预训练数据治理的系统性判断：不能只说按 PPL 阈值删除，也不能只依赖一个质量分类器，而要把数据规范化、质量打分、PPL 异常检测、重复样本压制、领域规则、分布保留和下游验证串成闭环，目标是在降低噪声和污染的同时保留对模型能力真正有贡献的多样知识。

大语言模型 模型训练 质量工程 模型评估 数据分析
字节跳动 / 算法

LLM 预训练或 SFT 的数据配比如何量化评估？如何用实验、领域切片和评测指标判断一个 mixture 是否更好？

这题考的是把数据配比从经验拍脑袋变成可实验、可度量、可解释的优化问题。好的回答应覆盖目标能力定义、候选 mixture 设计、token 级采样权重、短程代理实验、领域切片评测、统计显著性、负迁移排查和 Pareto 取舍，而不是只说多放高质量数据或按业务重要性调比例。

大语言模型 模型训练 模型评估 SFT 质量工程
阿里巴巴 / 算法

RLHF、DPO、PPO 或 GRPO 中 reference model 起什么作用？如果不能保留完整 reference，可以用哪些替代或近似约束？

这题考的是对齐训练里 reference model 的约束本质：它不是装饰性的第二个模型，而是定义“不要偏离初始策略太远”的行为锚点。在 PPO、DPO、GRPO 等方法中，reference 通过 KL、log probability ratio 或隐式 reward 基线抑制奖励黑客、语言退化和安全边界漂移；如果不能完整保留，也要知道哪些近似能替代、哪些只能部分约束。

大语言模型 RLHF DPO 强化学习 模型训练 模型评估
腾讯 / 算法

ReID 训练采样时如何保证每个身份的图像数一致，为什么这种 P-K 采样有利于度量学习？

这题考的是 ReID 训练中 batch 构造和度量学习损失的关系。P-K 采样不是简单凑 batch，而是每个 batch 选 P 个身份、每个身份取 K 张图，保证 anchor 有正样本、batch 内有足够负身份，并让 triplet、contrastive、circle、batch-hard 等损失能够稳定挖掘正负样本，同时缓解身份样本数不均衡带来的训练偏置。

计算机视觉 样本不平衡 模型训练 算法 特征工程
腾讯 / 算法

目标检测任务的损失函数如何设计，分类、框回归、IoU 和样本匹配各解决什么问题？

目标检测损失不是把分类和框坐标简单相加，而是在解决四类不同问题：哪些位置有目标、目标属于什么类别、预测框和真实框如何几何对齐、哪些候选样本应该接受哪一个真实框监督。好的回答要先拆检测头输出，再解释分类损失、回归损失、IoU 类损失和样本匹配之间的依赖关系，最后讨论正负样本不平衡、损失权重、匹配策略变化对收敛和 AP 的影响。

计算机视觉 模型训练 神经网络 模型评估
滴滴 / 算法

FCOS 作为 anchor-free 目标检测算法，整体流程和正负样本分配如何设计？

这题考的是候选人是否真正理解 anchor-free 检测从“预设框匹配”切换到“特征图位置预测”的建模方式。好答案不能只说 FCOS 不用 anchor，而要讲清 backbone 与 FPN 生成多尺度特征、每个位置预测类别和到框四边距离、正负样本如何由位置落入目标中心区域和尺度范围决定、重叠目标如何消歧、centerness 如何压低低质量框，以及训练损失和推理 NMS 的完整闭环。边界是以公开 FCOS 机制为准，不把其它 anchor-free 方法的关键点检测或 Transformer 查询机制混进来。

计算机视觉 算法 神经网络 模型训练
百度 / 算法

DAPO、GSPO、GFPO 等 GRPO 变体分别试图解决哪些后训练问题？

这题考的是候选人是否能把 GRPO 变体放到后训练问题图谱里理解，而不是背算法名。好答案要先说明 GRPO 的基本形态：同一 prompt 采样一组回答，用组内相对奖励估计 advantage，减少显式 critic 需求；再说明 DAPO、GSPO、GFPO 分别主要针对大规模长推理 RL 中的训练稳定性、更新粒度和推理长度效率问题。由于这些算法较新，边界是只按公开论文和公开实现文档描述，不声称未公开训练配方，也不把不同团队的缩写含义混为确定事实。

大语言模型 强化学习 RLHF 模型训练 模型评估
阿里巴巴 / 算法

DeepSeek-R1 的后训练流程如何从 SFT、RL 到可验证推理能力逐步构建？

这题考的是候选人是否能按公开技术报告复述 DeepSeek-R1 的后训练逻辑，而不是泛泛说“先 SFT 再 RL”。好答案要区分 DeepSeek-R1-Zero 和 DeepSeek-R1：前者直接从 base model 做大规模 RL，展示可验证推理奖励能诱导反思、验证和更长 CoT；后者用少量冷启动长 CoT 数据改善可读性和训练稳定性，再经过推理 RL、拒绝采样生成 SFT 数据、通用能力 SFT、全场景 RL，并把大模型推理模式蒸馏到小模型。边界是只描述公开论文/官方报告内容，不扩展到未公开训练细节或其它机构的具体做法。

同题还出现在 1 个公司岗位

大语言模型 强化学习 模型训练 模型评估 RLHF
美团 / 算法

Agent 工具调用训练中，如果一个 query 有多个可用工具，如何构造样本让模型学会工具选择偏好？

这道题考察的是 Agent 工具调用训练里的偏好学习，而不是简单判断某个工具能不能用。好答案要说明：当多个工具都可完成同一 query 时，训练样本不能只保留一个正确 tool call，而要把候选工具、选择理由、约束条件、反事实样本和评价指标都设计出来，让模型学会在成本、延迟、稳定性、精度、覆盖范围和任务阶段之间做取舍。

AI Agent 大语言模型 模型训练 模型微调 模型评估
美团 / 算法

LoRA 和全参数微调如何按任务迁移幅度、显存成本和 target modules 做选择？

这道题考察微调方案选择，而不是背 LoRA 和全参数微调定义。好答案要先讲机制差异：LoRA 冻结基座模型，只训练低秩增量矩阵；全参数微调更新所有权重。再根据任务迁移幅度、数据规模、显存和训练成本、灾难性遗忘风险、部署方式、target modules 和 rank 选择方案，并说明如何用实验指标验证是否足够。

大语言模型 模型微调 模型训练 SFT
美团 / 算法

DPO、PPO、GRPO 三种对齐方法在工程上如何选择，各自适合什么反馈和决策场景？

这题考的是候选人能否把 DPO、PPO、GRPO 从“算法名词”落到工程选择。好答案要先按反馈形态和决策场景分类：只有离线成对偏好时优先 DPO；有可训练奖励模型、在线采样和长链动作优化需求时考虑 PPO；同一 prompt 能采多条候选并用组内相对奖励比较，尤其是可验证任务或推理题时适合 GRPO。还要讲清 reward hacking、KL 漂移、长度偏置、探索成本、训练稳定性和评估指标。

同题还出现在 2 个公司岗位

大语言模型 强化学习 RLHF DPO 模型训练 模型评估
快手 / C/C++

大模型后训练投入成本如何决策，怎样用效果收益、训练成本、推理成本和风险指标做取舍？

这题考的是大模型后训练的工程 ROI 判断。好答案不能只说效果好就继续训，而要把收益、训练成本、推理成本、数据和安全风险放到同一张决策表里，用离线评测、线上指标、成本模型和风险阈值决定做 SFT、DPO/RL、数据修复、提示词优化、RAG、蒸馏还是不做。

大语言模型 模型训练 模型评估 大模型推理 性能排查
美团 / 算法

推荐系统中如何把 Transformer 行为序列表征接入 DIN 式目标兴趣建模？

这道题考察的是推荐序列建模和目标兴趣抽取的组合设计。高质量回答要说明：Transformer 适合把用户历史行为编码成带上下文的序列表征，DIN 的价值在于针对当前候选物品做 target-aware attention；工程上不能只拿一个全局向量，要处理时间因果、候选量、缓存、延迟和线上线下一致。

推荐系统 Transformer 注意力机制 Embedding 模型训练
美团 / 算法

推荐系统中的用户画像和特征工程如何实现，怎样保证训练样本与线上特征口径一致？

这道题考察推荐特征工程的体系化能力。好答案不只是列画像字段，而要说明画像分层、特征定义、时间窗口、训练样本构造、线上读取、point-in-time correctness、特征平台复用和训练服务一致性，否则很容易出现泄漏、口径漂移和线上效果回退。

推荐系统 特征工程 模型训练 模型评估
字节跳动 / 客户端

大语言模型的参数量具体指什么，如何估算一个 Transformer Block 的参数规模？

这道题考察模型参数量的数量级推导能力。参数量是可训练权重标量的数量，不等于显存、FLOPs 或上下文长度。好答案要能用 hidden size、FFN 中间维度、层数、词表大小估算一个 Transformer block，并说明 GQA/MQA、SwiGLU、MoE、权重共享、LoRA 和量化对成本含义的影响。

大语言模型 Transformer 神经网络 模型训练 性能排查
快手 / 算法

单机多卡和多机多卡训练的核心差异是什么，如何根据互联拓扑、通信开销和并行策略做选择？

这道题考察分布式训练的系统判断。单机多卡和多机多卡的差异不只是 GPU 数，而是互联拓扑、通信延迟、带宽、故障域、调度、存储和并行策略。好答案要能按显存瓶颈、计算/通信比、batch、模型规模和网络条件选择 DDP、FSDP/ZeRO、张量并行、流水线并行或组合方案。

同题还出现在 1 个公司岗位

模型训练 GPU 可扩展性 性能排查 问题排查