真实面经题目 · 原创解析
DPO 训练中的梯度爆炸问题如何解决?
DPO 训练中的梯度爆炸通常不是单一超参数问题,而是由偏好对 reward margin 过大、beta 设置不合适、学习率过高、混合精度溢出、reference model 使用不稳定、数据噪声和长序列 log probability 累积共同触发。回答时要先从 DPO 损失和梯度来源讲清机制,再给出从数值稳定、训练超参、数据治理、模型约束到监控排查的系统解决方案。
这道题出自阿里巴巴算法工程师面经(面试大师面经题库,2026 年 5 月整理)。