01

60 秒回答模板

DPO 里的偏好维度不能随便选，应该从对齐目标反推。我的做法是先定义模型要改善什么，例如事实正确性、指令遵循、格式稳定、安全拒答、简洁性、多模态定位或代码可执行性；然后把这些目标拆成可标注的 pairwise preference，也就是同一输入下 chosen 为什么优于 rejected。选择依据主要有四个。第一是和业务或任务目标一致，不能为了训练方便选一个和真实体验无关的 reward。第二是可判定，标注者或自动 judge 能稳定区分好坏，最好有明确 rubric。第三是覆盖模型真实短板，pair 要足够接近，不能总拿明显错误答案当 rejected，否则模型学不到细粒度偏好。第四是训练稳定，维度之间不能严重冲突，要控制长度偏置、风格偏置和安全偏置。训练上我会以 SFT 模型为起点，控制 beta、学习率、batch、数据混合比例，保留 reference model 约束，并监控 chosen/rejected logprob margin、reward accuracy、KL 漂移和旧任务回归。最终评估不只看 DPO loss，而看离线偏好胜率、事实正确率、安全、格式、人工 blind review 和线上 A/B，确保对齐目标真的变好。

考点 目标先行
难度 真实面经题
回答目标 让候选人能把 DPO 偏好设计讲成从目标、rubric、pair 构造、训练约束到评测上线的闭环，而不是只背 chosen/rejected 概念。
02

深入解析

01

从对齐目标反推偏好维度

DPO 的 pair 数据不是越多越好，而是要服务明确目标。常见维度包括帮助性、事实正确性、指令遵循、格式合规、安全拒答、推理完整性、简洁性、风格一致性和多模态 grounding。选择前要明确当前模型主要问题是什么，否则训练会把模型推向一个混乱的平均偏好。

02

偏好维度必须可判定

一个好的偏好维度需要能被标注者、规则或 judge 稳定判断。例如 JSON 字段完整率、拒答是否合规、视觉问答是否和图片一致，都比泛泛的回答更好更自然更可操作。若维度不可判定，pair label 噪声会直接进入 DPO 训练，使模型学到风格偏见。

03

pair 构造要有信息量

chosen 和 rejected 最好来自同一 prompt 下的候选答案，且差距聚焦在一个或少数关键偏好上。太容易的 pair 只会告诉模型不要输出明显错误，学不到细粒度差别；太混杂的 pair 则让模型不知道 chosen 胜出的原因。困难负例、边界样本和模型高频失败样本最有价值。

04

处理维度冲突和采样配比

偏好维度之间可能冲突，例如更详细和更简洁、强拒答和高帮助性、格式严格和自然表达。需要通过 rubric 定义优先级，并在数据采样上设权重。不同任务域的 pair 要分桶评估，避免某一类样本过多导致模型风格整体偏移。

05

训练稳定性来自参考约束

DPO 通常相对 reference model 优化 chosen/rejected 偏好，beta 控制偏好优化和偏离参考模型的权衡。beta 过强或学习率过高会导致模型过度偏向 chosen 风格、长度变长或旧能力下降；过弱则偏好学不进去。需要监控 KL 漂移、logprob margin 和验证集胜率，而不是只看 loss。

06

质量控制要覆盖标签噪声

偏好数据容易混入错误标签、重复 prompt、泄漏答案、chosen 长度系统性更长、rejected 总是安全拒答等偏差。应做一致性复标、自动规则检查、长度分布检查、prompt 去重、领域分桶和人工抽检。数据质量通常比盲目扩大 pair 数更重要。

07

评估要映射回真实目标

DPO 训练完成后，不能只看 reward accuracy 或 DPO loss。要看目标维度的离线胜率、人工 blind preference、事实错误率、安全拒答准确率、格式合规率、多模态 grounding 指标、通用能力回归和线上实验。若训练指标好但用户目标没变好，说明偏好维度选错或评估代理失真。

08

上线需要偏好版本管理

偏好 rubric、数据版本、pair 来源、采样权重、reference model、beta 和评测报告都要版本化。后续新增偏好维度时，先小规模离线验证和冲突分析，再进入混合训练，避免新偏好覆盖旧策略。

03

易错点

  • 把 DPO 简化成随便准备正负样本，没有说明偏好维度如何服务对齐目标。
  • chosen 和 rejected 差别混杂，既长度不同又事实不同又风格不同，导致训练信号不可解释。
  • 只追求 pair 数量，不检查标签噪声、重复 prompt、长度偏置和领域分布。
  • 把 reward 或偏好维度选成一个泛泛好坏分，没有可执行 rubric。
  • 只看 DPO loss 下降，不看 KL 漂移、偏好胜率、旧任务和安全回归。
  • 忽略 beta、学习率和 reference model 对训练稳定性的影响。
  • 用自动 judge 全量标注但没有人工校准，把 judge 的风格偏差训练进模型。
  • 把安全、帮助性、简洁性等冲突维度混在一起，没有定义优先级和采样权重。
04

面试官追问

DPO 的偏好数据和 reward model 数据有什么区别？

两者都可以来自 pairwise preference，但 DPO 直接用 chosen/rejected 相对 reference model 优化策略，不需要先训练显式 reward model。数据上更要求 pair 标签清晰、分布贴近目标策略，否则直接影响模型行为。

如何避免模型只学会输出更长答案？

要检查 chosen/rejected 的长度分布，避免 chosen 系统性更长；rubric 中明确简洁性和有效信息密度；评估时加入长度归一化偏好、冗余率和人工 blind review。

chosen 和 rejected 差距很大好不好？

太大的差距信息量有限，模型只学到粗粒度错误。更好的 pair 是候选答案都像样，但在事实、格式、安全或推理上有关键差别，这样才能训练细粒度偏好。

多种偏好维度冲突时怎么选？

先定义优先级，例如安全高于帮助性、事实高于表达风格；再按任务分桶设置采样权重和评测指标。如果冲突长期存在，可以拆不同场景策略，而不是混成一个模糊标签。

DPO 训练后旧能力下降怎么办？

降低 beta 或学习率，检查 pair 分布是否过窄，加入通用能力和旧任务回归数据，必要时用更强 reference 约束或分阶段训练。发布前必须看旧任务门禁。

可以用自动 judge 生成 DPO 偏好吗？

可以作为辅助，但要有人工抽检和一致性评估。自动 judge 容易偏好模板化、长答案或特定风格，必须用规则、人工和真实任务指标校准。