标签题目
RLHF相关面试题
SFT 之后做 DPO，DPO 和 RLHF/PPO 有什么区别？
SFT 之后做 DPO，是先让模型学会基本任务格式和能力，再用偏好对调整回答倾向。DPO 直接用偏好数据优化策略与参考模型的概率比，RLHF/PPO 通常先训练奖励模型，再通过强化学习在线优化奖励，工程复杂度和稳定性差异很大。
知识点标签
RLHF面试题解析
RLHF相关面试题解析，按真实面经题目沉淀核心机制、易错点和面试官追问。
1 道题 1 个岗位 1 个公司
知识点标签
RLHF相关面试题解析，按真实面经题目沉淀核心机制、易错点和面试官追问。
标签题目
SFT 之后做 DPO，是先让模型学会基本任务格式和能力，再用偏好对调整回答倾向。DPO 直接用偏好数据优化策略与参考模型的概率比，RLHF/PPO 通常先训练奖励模型，再通过强化学习在线优化奖励，工程复杂度和稳定性差异很大。