真实面经题目 · 原创解析
ChatGPT为什么不用Reward-Model的数据直接fine-tune,而用RL?
Reward Model 的数据本质上是偏好判断或打分信号,它告诉模型哪些回答更符合人类偏好,但通常不直接提供一条完美答案。SFT 学的是给定输入后模仿标准输出,目标是最大化示范答案的似然;RLHF、PPO 或偏好优化学的是在很多可能回答中提高被奖励函数偏好的概率,目标是优化行为策略。ChatGPT 不直接用 Reward Model 的数据 fine-tune,核心原因是两类数据和两类目标不同:偏好数据适合训练评价器或优化策略,不等价于监督学习所需的高质量目标答案。
这道题出自阿里巴巴算法工程师面经(面试大师面经题库,2026 年 5 月整理)。