代码真能让大模型更会推理吗？我们重新看了一组实验

背景：大模型训练中普遍认为“多喂代码能提升推理能力”，但“代码”这一标签过于粗糙，常混杂代码片段、自然语言解释、结构化推导等混合文本。研究目的：本文来自ICML 2026论文，旨在精确区分“纯代码”与“代码-自然语言混合数据”，并探究真正提升数学推理能力的数据类型。结论：在固定训练预算下，纯代码主要提升编程能力，对复杂数学推理无稳定增益甚至出现负耦合；而数学数据也非万能，其提升依赖于任务类型。真正有效提升复杂数学推理的是“推理脚手架”——一种显式、可追踪的结构化推理过程（如步骤拆解、符号推导），它主要从数学语料中筛选，而非纯代码。通过提升这类数据比例，模型在困难数学基准（如OlympiadBench、MATH）上平均提升17.56%，且对编程能力无明显伤害。研究提示，预训练数据优化的关键不在于数据类别比例，而在于样本是否携带可迁移的结构化推理信号。