10M参数也能跑ARC与数独，Bengio团队押注「多轨迹推理」

本文介绍了一项由Yoshua Bengio团队与KAIST、Mila、NYU研究人员共同提出的研究成果，其核心是一种名为GRAM（生成式递归推理模型）的新型模型。背景方面，传统递归推理模型（如HRM、TRM）通过共享转移函数反复更新隐状态，在不增加参数量的情况下延长内部计算，但这些模型大多为确定性递归，缺乏探索不同候选轨迹的能力。研究目的在于改进这一局限，通过将确定性递归更新改造为概率多轨迹计算，使模型在推理时可以并行采样多条隐空间推理轨迹。结论显示，GRAM在Sudoku-Extreme上达到97.0%的准确率，在ARC-AGI-1和ARC-AGI-2上分别取得52.0%和11.1%的成绩，在N-Queens任务中达到99.7%的准确率。模型将隐状态解耦为高、低两层，高层状态注入高斯扰动以控制探索幅度，低层状态负责细粒度计算。消融实验证实，随机性和指导信号需同时起作用，移除任一都会导致性能显著下降。此外，GRAM还支持推理时扩展，通过并行采样多条轨迹提升性能，并能在无条件生成任务（如数独生成和MNIST图像生成）中展现良好效果。不过，论文也指出深度监督的顺序训练限制了训练效率，这是扩展到更大基础模型时需解决的关键问题。