强化学习远不是最优，CMU刚刚提出最大似然强化学习

背景：在大模型时代，强化学习被广泛用于代码生成、数学推理和自主规划等任务，旨在最大化模型生成正确轨迹的概率，即最大似然目标。然而，现有强化学习方法并未真正实现最大似然优化。研究目的：CMU等机构的研究团队提出最大似然强化学习（MaxRL），通过将强化学习重新形式化为潜变量生成的最大似然问题，并引入以计算量为索引的目标函数族，逐步逼近真正的最大似然优化，以解决传统强化学习在优化目标上的系统性偏差问题。结论：MaxRL在实验中表现出更高的训练效率和性能优势，能持续改善优化目标，并在不同任务和规模下稳定优于现有方法，为不可微学习问题提供了更深入的解决方案。