10M参数也能跑ARC与数独，Bengio团队押注「多轨迹推理」

本文介绍了由Yoshua Bengio团队等提出的生成式递归推理模型GRAM。背景方面，传统递归模型如HRM、TRM在结构化推理任务中展现出潜力，但大多采用确定性递归更新，缺乏探索多种候选轨迹的机制。研究目的旨在通过将确定性递归改造为概率多轨迹计算，提升模型在复杂推理任务中的表现和探索能力。结论显示，GRAM在Sudoku-Extreme上达到97.0%准确率，在ARC-AGI-1和ARC-AGI-2上分别取得52.0%和11.1%的成绩，并能在N-Queens等任务中覆盖多种有效解。其核心创新包括隐状态解耦为高、低两层、引入随机引导的潜变量转移和推理时并行采样。消融实验证实随机性和指导信号共同作用不可或缺。此外，GRAM还能作为无条件生成模型，在数独生成和图像生成任务中表现优异，且参数量仅约10M。论文也指出，其训练效率受限于深度监督的顺序训练，向更大模型扩展仍面临挑战。