别再把KL散度加进loss了！Bengio团队实证：回归Reward才是无偏正解

本文背景是强化学习与人类反馈（RLHF/RLVR）已成为大模型后训练的主流方法，其核心目标是在最大化奖励的同时，利用KL散度约束策略模型不偏离参考模型。研究目的是揭示当前主流实现（将KL散度惩罚项K3估算器直接置于损失函数中）在数学上存在梯度偏差，并探讨其对模型训练稳定性和泛化能力的影响。结论表明，这种有偏估计会损害模型在域外任务上的性能；而将KL散度作为惩罚项移回奖励函数并使用朴素的K1估算器，能实现无偏梯度估计，在实验中显著提升了模型泛化能力，在域外任务上带来近20%的性能提升，且在不同架构下更具鲁棒性。