从P(y|x)到P(y)：将RL引入预训练空间，激发大模型内生推理

本文探讨了大模型推理强化学习中一个基础性问题：是否必须依赖问题上下文（条件概率P(y|x)）进行优化？来自中国科学院自动化研究所、新加坡国立大学和腾讯AI Lab的研究团队提出PreRL方法，直接优化推理轨迹的边缘分布P(y)，旨在更直接地改变模型内部已内化的推理知识组织方式。研究发现，在去掉问题条件下，正样本强化（PSR）在在线轨迹上失效，而负样本强化（NSR）效果惊人，仅需20步即可将推理过渡步骤增加14.89倍、反思步骤增加6.54倍，有效剪枝错误推理路径。基于此，团队提出Dual Space RL（DSRL），通过Policy Reincarnation策略将NSR-PreRL预热阶段与标准RL精化阶段有机结合。实验表明，DSRL在MATH500、AMC23、AIME24/25等多个数学推理基准以及GPQA-Diamond、MMLU-Pro等分布外任务上一致超越GRPO等强基线方法，且训练效率更高，证明了直接作用于模型内部推理空间的优化方式能为后续条件化精化建立更强、更宽的推理基础。