SFT面试题解析

SFT 之后做 DPO，DPO 和 RLHF/PPO 有什么区别？

SFT 之后做 DPO，是先让模型学会基本任务格式和能力，再用偏好对调整回答倾向。DPO 直接用偏好数据优化策略与参考模型的概率比，RLHF/PPO 通常先训练奖励模型，再通过强化学习在线优化奖励，工程复杂度和稳定性差异很大。

大模型微调方法有哪些？

大模型微调可以从“训练目标”和“参数更新方式”两条线回答：训练目标包括继续预训练、监督微调、偏好对齐和任务适配；参数更新方式包括全参数微调和参数高效微调。面试中要说清每类方法解决什么问题、用什么数据、优化什么损失，以及成本和风险。

同题还出现在 1 个公司岗位

普通模型的query fine tuning和SFT有什么区别？

如果这里的 query fine tuning 指普通模型围绕查询输入做下游任务微调，它和大模型 SFT 的主要区别在于数据形态、优化目标和输出形式。前者通常学习 query 到标签、分数、向量或候选排序的任务映射；SFT 则训练自回归大模型在给定指令后生成期望回答。

RAG 知识库如何做定期维护，什么时候应选 RAG 而不是 SFT？

这题考 RAG 知识库生命周期治理和 RAG/SFT 方案选择，回答要把数据更新、质量评估、检索效果和模型改造边界分开。

Teacher forcing 为什么会带来训练和推理不一致，如何缓解 exposure bias？

这题考序列模型训练中的 teacher forcing 和 exposure bias，回答要解释训练推理输入分布不一致、误差累积和常见缓解方法。

LoRA 微调能否注入领域知识，应该如何验证效果边界？

这题考 LoRA 微调能否注入领域知识及其边界。答案要区分格式/风格/任务适配与事实知识注入，并比较 LoRA、SFT、继续预训练和 RAG 的验证方法。

同公司岗位有 2 条面经记录

Agentic RL 项目中，如何判断 SFT 阶段已经可以进入 RL 后训练？

这题考 Agentic RL 的训练阶段判断，重点是 SFT 是否已经让模型具备稳定轨迹、工具协议、基础成功率和可评估 reward，再决定进入 RL。

大模型基础训练阶段为什么不能直接用 SFT 代替预训练？

这题考基础预训练和 SFT 的目标差异，重点是预训练用海量多样语料学习通用能力，SFT 只是在已有底座上教指令格式和偏好行为。

为什么聊天大模型通常不能跳过 SFT 直接做强化学习后训练，Reward Model、DPO/PPO 和稳定性约束分别解决什么问题？

这题考大模型后训练的稳定性理解：SFT 先把模型带到可对话、可遵循指令的分布，强化学习或偏好优化再做对齐；直接 RL 容易稀疏奖励、探索失控和能力退化。

大模型 SFT 微调效果不好时，可以从哪些数据、模板、训练配置、参数高效微调和评估闭环维度优化？

这题考的是 SFT 效果诊断和优化方法论：要把问题拆成数据质量、任务分布、指令模板、训练超参、PEFT 配置、基座能力和评估闭环，而不是只说多清洗数据。

Instruction Tuning 多轮对话训练中 loss mask 应如何设计，哪些 token 应参与损失？

这题考的是多轮 SFT 的 token 级训练目标设计：候选人要能说明 system/user/padding 通常不算 loss，assistant 答案 token 通常算 loss，并进一步讲清多轮全部 assistant turn、last-turn-only、label shift、packing 边界和模板一致性。

Agent 微调中如何选择和清洗训练样本，哪些样本质量问题最容易改变模型行为？

这题考 Agent 微调数据的样本选择与清洗能力。与普通 SFT 不同，Agent 样本不仅有问答文本，还包含意图、计划、工具选择、参数、工具结果、状态变化、安全边界和最终回复。回答要说明哪些样本值得训练、哪些噪声会改变模型行为，以及如何用指标验证。

同题还出现在 1 个公司岗位

LoRA 微调通常插入哪些层，epoch、learning_rate 等常用训练参数如何设置？

这题考 LoRA 微调的工程落点：适配器插到哪些线性层，常用 rank、alpha、dropout、epoch、learning_rate、batch 和 scheduler 如何取舍。好的回答不能只说冻结原模型、训练低秩矩阵，而要能根据任务类型、数据规模、显存预算和过拟合风险解释从 q/v 到 attention+MLP 的 target module 选择，以及为什么 LoRA 学习率通常比全参微调更高但仍需验证集约束。

LLM 预训练或 SFT 的数据配比如何量化评估？如何用实验、领域切片和评测指标判断一个 mixture 是否更好？

这题考的是把数据配比从经验拍脑袋变成可实验、可度量、可解释的优化问题。好的回答应覆盖目标能力定义、候选 mixture 设计、token 级采样权重、短程代理实验、领域切片评测、统计显著性、负迁移排查和 Pareto 取舍，而不是只说多放高质量数据或按业务重要性调比例。

LoRA 和全参数微调如何按任务迁移幅度、显存成本和 target modules 做选择？

这道题考察微调方案选择，而不是背 LoRA 和全参数微调定义。好答案要先讲机制差异：LoRA 冻结基座模型，只训练低秩增量矩阵；全参数微调更新所有权重。再根据任务迁移幅度、数据规模、显存和训练成本、灾难性遗忘风险、部署方式、target modules 和 rank 选择方案，并说明如何用实验指标验证是否足够。

DPO 是什么，和 SFT 在训练目标、数据形式和适用阶段上有什么区别？

SFT 和 DPO 都用于大模型训练后的对齐阶段，但目标不同。SFT 是让模型学习应该怎么回答的示范答案，DPO 是让模型学习同一问题下更偏好哪一个回答。SFT 更偏能力和格式学习，DPO 更偏偏好对齐、风格控制和质量排序。

同题还出现在 1 个公司岗位

大模型微调时，7B 和 70B 模型的学习率应如何设置，为什么模型规模会影响学习率选择？

大模型微调时，70B 通常要比 7B 使用更保守的学习率，因为大模型参数多、预训练能力强、对分布扰动更敏感，过大学习率更容易导致灾难性遗忘、loss 震荡和能力退化。但这不是绝对规则，还要区分全参微调、LoRA、数据规模、batch size、warmup、scheduler 和任务差异。

Function Call / Agent 工具调用不正确时，如何用 SFT 或 GRPO 设计数据与奖励函数来提升能力？

这题考 Agent 工具调用能力的训练闭环。回答要先把错误分型讲清，再说明 SFT 如何构造正负样本和多轮轨迹，GRPO 如何用可执行环境中的细粒度奖励优化工具选择、参数填写、调用顺序、结果使用和最终回答，同时要覆盖离线评测、在线灰度和安全护栏。