真实面经题目 · 原创解析
这题考的是候选人能否把 DPO、PPO、GRPO 从“算法名词”落到工程选择。好答案要先按反馈形态和决策场景分类：只有离线成对偏好时优先 DPO；有可训练奖励模型、在线采样和长链动作优化需求时考虑 PPO；同一 prompt 能采多条候选并用组内相对奖励比较，尤其是可验证任务或推理题时适合 GRPO。还要讲清 reward hacking、KL 漂移、长度偏置、探索成本、训练稳定性和评估指标。
我会先把选择标准讲清楚：不是 DPO、PPO、GRPO 谁绝对更好，而是看反馈是什么、决策有多长、是否需要在线探索、奖励是否可标量化、工程预算能否承受。DPO 适合离线偏好数据，例如同一个 prompt 下 chosen/rejected 两个答案，人类或规则只告诉你哪一个更好。它不需要单独训练 reward model，也不需要像 PPO 那样在线 rollout，训练稳定、成本低，适合风格对齐、拒答边界、候选重排和局部偏好修正；缺点是探索能力弱，依赖偏好对质量，难直接优化复杂长期收益。PPO 是更通用的 RLHF 框架：先有 reward model 或环境奖励，再让策略采样回答，用 advantage、clip、KL 约束等方式最大化奖励。它能处理在线反馈、过程奖励、多轮工具调用、长链决策和非成对反馈，但工程复杂度高，容易 reward hacking、训练不稳、成本高。GRPO 可以理解为对同一问题采一组回答，用组内相对奖励估计优势，弱化或省掉 value critic，适合数学、代码、可验证问答、长推理候选比较等场景；它比 PPO 轻一些，但要求 group 内候选有差异且奖励可信，也要控制长度偏置、KL 漂移和组内采样成本。工程上我会先用 DPO 做离线偏好对齐和基线，再对可验证、需要探索的任务考虑 GRPO，如果任务确实是长链在线决策、工具执行或有稳定奖励模型和过程反馈，才投入 PPO。验证时不能只看 reward 分数，要同时看人工胜率、业务切片、KL、输出长度、拒答率、安全指标、线上 A/B、p95 延迟和成本。
工程选择的第一层是看反馈数据长什么样。离线成对偏好数据天然适合 DPO；标量 reward、过程 reward 或环境结果更适合 PPO 或 GRPO；同一个问题可以采多条候选并相互比较时，GRPO 的组内相对优势估计更自然。不要先背算法公式，再硬套场景。
DPO 直接利用 chosen/rejected 偏好对优化策略相对参考模型的概率差，不必显式训练 reward model，也不用在线 rollout。它的工程优点是简单、稳定、成本低，适合回答风格、格式遵循、安全拒答、候选排序和局部偏好修正。限制是探索弱，偏好对覆盖不到的行为很难学到。
PPO 的价值在于能把任意可标量化的 reward 纳入优化，包括 reward model 分数、环境成功率、工具执行结果或过程奖励。它适合多轮交互、多工具调用、需要探索策略的任务。代价是要维护采样、奖励模型、value 或 advantage 估计、KL 约束、训练监控和回滚，工程复杂度最高。
GRPO 常见思路是同一 prompt 采样一组回答，用组内平均或相对排名构造 advantage，再更新策略。它弱化显式 critic，适合数学、代码、可验证问答、长 CoT 候选比较和规则判分任务。它的关键不是绝对 reward 多准，而是同组候选之间的相对信号是否稳定。
如果只是生成一个答案后做偏好排序，DPO 往往够用；如果要在多个候选中强化正确推理轨迹，GRPO 更合适；如果任务是多步交互、工具调用、搜索、执行和反馈闭环，PPO 的表达能力更强。决策越长、反馈越在线，越需要 RL 框架；数据越离线、偏好越清晰，越适合 DPO。
DPO 可能过拟合标注偏好、放大数据偏差，或在分布外任务退化。PPO 可能 reward hacking、KL 失控、训练振荡、模型变啰嗦或安全边界被破坏。GRPO 可能受组内采样质量、长度偏置和奖励稀疏影响，出现看似 reward 提高但真实胜率不升的情况。
三类方法都不能只看训练 reward。要看 held-out 偏好胜率、人工评审、任务成功率、拒答准确率、幻觉率、安全红线、KL 到参考模型的距离、输出长度、熵、线上 A/B、延迟、训练成本和推理成本。对多工具调用场景还要看工具选择成功率、重试次数和端到端完成率。
因为 DPO 对数据和系统要求更低：只需要离线偏好对，不需要在线 rollout、reward model 服务、value 估计和复杂 RL 稳定化。它能快速改善风格、格式、安全拒答和简单偏好问题。只有当 DPO 无法表达长期收益、过程反馈或探索需求时，才值得承担 PPO 的成本。
PPO 通常依赖 reward 与 advantage 估计，并通过 clipped objective 和 KL 约束做策略更新，适合更通用的 RL 场景。GRPO 更强调同一 prompt 的多候选组内比较，用相对奖励估计优势，降低显式 value critic 的工程负担。它更适合可验证任务和多候选推理训练，但不等于能替代所有 PPO 场景。
如果反馈不是成对偏好，而是多步环境成功率、工具执行结果、过程奖励或需要主动探索的长期收益，DPO 会比较别扭。它也不适合偏好数据覆盖很窄、chosen/rejected 质量差、负样本太容易或线上分布变化很大的场景。
如果已有工具调用轨迹的好坏对比，可以先用 DPO 学工具选择偏好；如果能对每一步工具调用给过程奖励，或要优化多步执行成功率，可以考虑 PPO；如果同一任务能采多条执行轨迹，并用最终成功、成本、步数做相对比较，GRPO 也有工程吸引力。
看 reward 分数是否提升但人工胜率、真实任务成功率或安全指标不升反降；再检查输出长度、模板化程度、拒答率、引用幻觉、边界样例和分布外切片。如果模型学会迎合 reward model 的偏好而不是完成任务，就要修奖励、加 KL、改数据或引入人工评审。
