ICLR2026｜UIUC：一行代码彻底解决LLM推理的过度思考！

背景：在基于可验证奖励的强化学习（RLVR）方法中，大语言模型在推理时存在“过度思考”问题，即对简单问题生成冗长、重复的推理过程，影响效率与成本。研究目的：为解决该问题，研究者提出自我一致性奖励（SAR），利用模型自身困惑度差异构建细粒度奖励，旨在区分推理内容与问题的语义关联，从而在提升准确率的同时减少输出长度。结论：实验表明，SAR在多个数据集和模型上能平均提升4%的准确率并减少30%的输出长度，且具有良好的跨任务泛化能力，实现了推理质量与效率的协同优化。