ICLR2026|别再让大模型“想太多”了！最新研究揭示LLM推理效率的关键瓶颈

本文探讨了大语言模型推理过程中存在的“过度思考”和“思考不足”问题，其根源在于“推理失衡”，即模型计算资源的分配与问题各阶段的实际难度不匹配。研究旨在通过理论建模和算法框架，实现更高效、精准的推理计算分配。为此，论文提出了BAM理论模型，以认知不确定性为指导原则来分配推理预算，并在此基础上设计了Plan-and-Budget推理框架。该框架无需训练，通过在推理前进行规划拆解问题，并采用前置衰减等策略将计算资源集中在关键步骤。实验表明，该方法在多种推理任务上不仅能提升准确率，还能减少计算量，实现了从单纯追求“算得更多”到追求“算得更聪明”的范式转变。