「强化学习教师」登场！7B模型击败671B DeepSeek-R1，小模型也可训练大模型了

本文介绍了由Sakana AI提出的一种新的强化学习范式——“强化学习教师”（RLT）。该范式通过训练教师模型从问答对中生成解释，来优化学生模型的理解能力，而不是直接解决问题。RLT改变了传统教师模型的训练方式，使其奖励基于解释的有效性，即这些解释如何帮助学生恢复正确的解决方案。研究结果显示，7B大小的教师模型在教授推理技能方面表现优于规模大几个数量级的模型（如671B DeepSeek-R1），并且这一结果适用于规模相同或更大的学生模型（如32B）。此外，RLT显著降低了训练成本，使32B学生模型的训练时间从数月缩短到不到一天。这一方法为构建更先进、更经济的推理模型提供了新的可能性。