清华团队打造TDRM：基于时间差分学习平滑奖励模型

本文针对大语言模型强化学习中奖励模型缺乏时间一致性的问题，提出TDRM框架。研究背景是现有奖励模型在推理轨迹中相邻步骤奖励无关，导致训练不稳定和误导信号。研究目的是通过时间差分学习构建平滑奖励模型，结合过程奖励与可验证奖励提升性能。结论表明TDRM在Best-of-N和树搜索中最高提升23.7%性能，强化学习数据效率提升20倍，在多个模型变体上验证了其有效性。