标签题目
模型微调相关面试题
DPO 训练中的正反馈样例如何构造？
DPO 的正反馈样例不是单独的好回答，而是偏好对里的 chosen answer。构造时要保证同一 prompt 下正样本相对负样本更符合事实、指令、风格、安全和业务目标，并通过人工或高可信信号过滤噪声。
SFT 之后做 DPO，DPO 和 RLHF/PPO 有什么区别？
SFT 之后做 DPO，是先让模型学会基本任务格式和能力，再用偏好对调整回答倾向。DPO 直接用偏好数据优化策略与参考模型的概率比，RLHF/PPO 通常先训练奖励模型，再通过强化学习在线优化奖励，工程复杂度和稳定性差异很大。
大模型微调方法有哪些？
大模型微调可以从“训练目标”和“参数更新方式”两条线回答：训练目标包括继续预训练、监督微调、偏好对齐和任务适配；参数更新方式包括全参数微调和参数高效微调。面试中要说清每类方法解决什么问题、用什么数据、优化什么损失，以及成本和风险。
同题还出现在 1 个公司岗位
普通模型的query fine tuning和SFT有什么区别？
如果这里的 query fine tuning 指普通模型围绕查询输入做下游任务微调，它和大模型 SFT 的主要区别在于数据形态、优化目标和输出形式。前者通常学习 query 到标签、分数、向量或候选排序的任务映射；SFT 则训练自回归大模型在给定指令后生成期望回答。
在一个文档中，如何筛选出对一个综合场景大模型的微调数据？
从单个文档筛选综合场景大模型微调数据，关键是把原始内容变成高质量、多任务、可验证、去噪去重的指令样本。回答要覆盖场景定义、片段切分、样本构造、质量过滤、分布配比和评测闭环。
LLM 微调项目里新数据加入后离线评估掉点，应该如何排查数据、训练和评估口径？
这道题考察 LLM 微调项目的掉点诊断能力。回答重点不是背 SFT 或 LoRA 方法名，而是把新数据引入后的数据 pipeline diff、质量和格式漂移、分布混合比例、训练 schedule、评估集回归、指标切片、Recall/Precision 取舍和上线决策串成一套可执行排查流程。
大模型微调后出现不遵循指令、复读和错误答案，如何定位原因并判断 CoT 是否有效？
这题考察大模型微调后行为退化的定位方法：要把不遵循指令、复读和错误答案拆成可复现的错误类型，分别从数据、训练配置、解码参数和评估切片定位，并用对照实验判断 CoT 是否真正改善推理或事实正确率。
RAG 知识库如何做定期维护，什么时候应选 RAG 而不是 SFT？
这题考 RAG 知识库生命周期治理和 RAG/SFT 方案选择，回答要把数据更新、质量评估、检索效果和模型改造边界分开。
LoRA 微调能否注入领域知识，应该如何验证效果边界？
这题考 LoRA 微调能否注入领域知识及其边界。答案要区分格式/风格/任务适配与事实知识注入，并比较 LoRA、SFT、继续预训练和 RAG 的验证方法。
同公司岗位有 2 条面经记录
Qwen2-VL 微调时应如何处理多模态数据、视觉 token、训练参数和评估？
这题考 Qwen2-VL 微调的多模态工程思路，答案应讲数据构造、视觉 token 预算、参数策略、loss masking、训练稳定性和评估闭环，不依赖具体版本细节。
LoRA 初始化和 rank 应如何选择，rank 过大或过小有什么影响？
这题考 LoRA 的低秩增量参数如何初始化和选 rank，重点是保持初始等价、控制容量成本，并用验证集判断欠拟合或过拟合。
大模型基础训练阶段为什么不能直接用 SFT 代替预训练？
这题考基础预训练和 SFT 的目标差异，重点是预训练用海量多样语料学习通用能力，SFT 只是在已有底座上教指令格式和偏好行为。
多模态或大模型微调数据做质量过滤时，如何选择过滤模型和质量标准？
这题考数据质量治理，而不是问某家公司内部过滤器。回答要从规则、专用模型、跨模态一致性模型、LLM judge/reward model 和人工抽检的组合讲起。
同题还出现在 1 个公司岗位
Qwen 这类大模型如何做压缩和蒸馏，评估时应关注哪些效果损失？
这题考大模型压缩与蒸馏的端到端方法论，关键是同时说明模型怎么变小、能力怎么迁移、成本怎么下降，以及哪些能力和安全边界最容易损失。
大模型微调为什么会出现灾难性遗忘，如何用数据混合、正则、回放、冻结参数和评测回归缓解？
这题考的是微调稳定性：目标不是背几个缓解方法，而是能解释窄域训练为什么会覆盖旧能力，并给出数据、参数更新和回归评测三条防线。
大模型 SFT 微调效果不好时，可以从哪些数据、模板、训练配置、参数高效微调和评估闭环维度优化？
这题考的是 SFT 效果诊断和优化方法论：要把问题拆成数据质量、任务分布、指令模板、训练超参、PEFT 配置、基座能力和评估闭环，而不是只说多清洗数据。
LLM 应用上线后收到业务反馈和 badcase，如何建立问题归因、数据回流、Prompt/模型迭代和回归评估闭环？
这题考 LLM 应用上线后的持续改进能力：要把业务反馈转成可复现样本，分层归因到数据、检索、Prompt、模型、工具或产品边界，再用评测和灰度闭环避免越改越差。
LoRA 微调不收敛或输出格式异常时，如何从数据、模板、学习率、rank 和 alpha 排查？
这题考的是 LoRA 训练故障诊断能力：候选人要能把不收敛和输出格式失控拆成数据、模板、损失、超参、adapter 容量和评测回归几个层面逐步定位。
LoRA alpha 过强或过弱会带来什么影响，增量训练出现灾难性遗忘时如何排查和缓解？
这题考的是候选人是否理解 LoRA 增量缩放和遗忘之间的关系，并能从数据分布、训练策略、正则约束和回归评测上解决增量训练稳定性问题。
DPO 偏好样本中的 reward 或偏好维度应如何选择，如何保证对齐目标和训练稳定性？
这题考的是 DPO 数据和偏好目标设计：不是只会说 chosen/rejected，而是能把业务目标、偏好维度、样本构造、冲突处理、训练稳定和评测闭环讲清楚。
多模态大模型微调应如何设计数据、视觉编码器/投影层、指令模板、训练阶段和评测？
这题考的是多模态 LLM 微调的系统设计能力：候选人要能从任务目标出发，讲清数据、架构可训练部分、阶段化训练、模板一致性、指标和回归防护。
Instruction Tuning 多轮对话训练中 loss mask 应如何设计，哪些 token 应参与损失？
这题考的是多轮 SFT 的 token 级训练目标设计：候选人要能说明 system/user/padding 通常不算 loss，assistant 答案 token 通常算 loss，并进一步讲清多轮全部 assistant turn、last-turn-only、label shift、packing 边界和模板一致性。
模型对齐后变得过于保守、经常拒答时，如何调整偏好数据、拒答策略和安全阈值？
这题考的是对齐训练中的 helpfulness 与 harmlessness 校准能力：候选人要能把过度拒答拆成数据标签、偏好目标、reward/judge 偏置、安全分类阈值和线上策略问题，并给出训练与评估闭环。
Agent 微调中如何选择和清洗训练样本，哪些样本质量问题最容易改变模型行为？
这题考 Agent 微调数据的样本选择与清洗能力。与普通 SFT 不同，Agent 样本不仅有问答文本，还包含意图、计划、工具选择、参数、工具结果、状态变化、安全边界和最终回复。回答要说明哪些样本值得训练、哪些噪声会改变模型行为，以及如何用指标验证。
同题还出现在 1 个公司岗位
LoRA 微调通常插入哪些层，epoch、learning_rate 等常用训练参数如何设置？
这题考 LoRA 微调的工程落点：适配器插到哪些线性层，常用 rank、alpha、dropout、epoch、learning_rate、batch 和 scheduler 如何取舍。好的回答不能只说冻结原模型、训练低秩矩阵，而要能根据任务类型、数据规模、显存预算和过拟合风险解释从 q/v 到 attention+MLP 的 target module 选择，以及为什么 LoRA 学习率通常比全参微调更高但仍需验证集约束。
Agent 工具调用训练中，如果一个 query 有多个可用工具，如何构造样本让模型学会工具选择偏好？
这道题考察的是 Agent 工具调用训练里的偏好学习，而不是简单判断某个工具能不能用。好答案要说明：当多个工具都可完成同一 query 时，训练样本不能只保留一个正确 tool call，而要把候选工具、选择理由、约束条件、反事实样本和评价指标都设计出来，让模型学会在成本、延迟、稳定性、精度、覆盖范围和任务阶段之间做取舍。
LoRA 和全参数微调如何按任务迁移幅度、显存成本和 target modules 做选择？
这道题考察微调方案选择，而不是背 LoRA 和全参数微调定义。好答案要先讲机制差异：LoRA 冻结基座模型，只训练低秩增量矩阵；全参数微调更新所有权重。再根据任务迁移幅度、数据规模、显存和训练成本、灾难性遗忘风险、部署方式、target modules 和 rank 选择方案，并说明如何用实验指标验证是否足够。
DPO 是什么，和 SFT 在训练目标、数据形式和适用阶段上有什么区别？
SFT 和 DPO 都用于大模型训练后的对齐阶段，但目标不同。SFT 是让模型学习应该怎么回答的示范答案，DPO 是让模型学习同一问题下更偏好哪一个回答。SFT 更偏能力和格式学习，DPO 更偏偏好对齐、风格控制和质量排序。
同题还出现在 1 个公司岗位
大模型微调时，7B 和 70B 模型的学习率应如何设置，为什么模型规模会影响学习率选择？
大模型微调时，70B 通常要比 7B 使用更保守的学习率，因为大模型参数多、预训练能力强、对分布扰动更敏感，过大学习率更容易导致灾难性遗忘、loss 震荡和能力退化。但这不是绝对规则，还要区分全参微调、LoRA、数据规模、batch size、warmup、scheduler 和任务差异。
大模型 SFT 从数据构建到训练通常怎么做，SFT 之后 DPO、RLHF/PPO、RL 等 Post-Training 分别解决什么问题？
这题考察候选人是否真正理解大模型对齐训练链路，而不是只会背 SFT、DPO、RLHF 这些名词。好的回答要先讲 SFT 的数据构建、清洗、格式化、训练和评估流程，再解释 SFT 主要让模型学会按指令输出，DPO/RLHF/PPO 等 Post-Training 进一步处理偏好对齐、安全边界、复杂任务奖励和人类反馈优化。面试重点是区分每个阶段解决的问题、依赖的数据形态和带来的风险。
LoRA 和 Adapter 在微调机制、参数插入位置和推理阶段开销上有什么区别？
这道题考察参数高效微调的结构理解，而不是只背 LoRA 和 Adapter 都是 PEFT。好的回答要先说明二者都冻结大部分基座模型、只训练少量新增参数；再区分 LoRA 是给已有线性层增加低秩权重增量，Adapter 是在 Transformer block 中插入小型瓶颈模块；最后落到推理开销：LoRA 可合并进原权重，单任务部署几乎无额外算子，Adapter 通常保留额外前向路径，会增加延迟、显存和 serving 复杂度。
大模型训练或微调时，batch size 过大或过小分别会带来哪些收敛、泛化、吞吐和显存问题？当有效 batch size 改变时，学习率是否需要结合 scaling rule、warmup 和梯度累积一起调整？
这道题考察大模型训练/微调中 batch size 与学习率、显存、吞吐、泛化和稳定性的联动。好的回答要区分 micro batch、global batch、梯度累积，并说明 scaling rule 只能作为起点，必须配合 warmup 和验证集监控。
微调 Qwen 这类大模型时，learning rate scheduler 应如何设计？如何确定 step 口径、warmup、cosine/linear decay、最小学习率和峰值学习率？
这题考察的不是背诵某个 scheduler，而是能否把 Qwen 微调中的学习率设计拆成训练稳定性、收敛效率、泛化效果和版本选择四件事。好的回答要明确 step 口径、warmup 比例、衰减曲线、最小学习率和峰值学习率。
VLM 做 SFT 后过度依赖文本、忽略图像并产生视觉幻觉时，如何从数据、loss mask、图文对齐、hard negative 和评测切片排查修复？
这题考 VLM 训练排障能力。重点不是泛泛说“加图像数据”，而是要从 SFT 数据比例、文本捷径、loss mask、视觉 token 利用、图文对齐、hard negative、消融实验和评测切片系统定位：模型是没有看视觉信息，还是看了但对齐差，还是评测集暴露了特定幻觉类型。
统一生成理解多模态模型做下游微调时，如何为分类、VQA、OCR、定位和生成任务设计统一样本格式，同时保留各任务的专属监督，并控制混训比例、数据质量和能力退化风险？
这题考统一生成理解模型的下游微调数据设计。回答要讲任务格式统一、数据混合、采样比例、模态对齐、质量控制和评测。