Scaling Law一招鲜？首个晶体结构操作基准，顶级大模型集体翻车

背景：大语言模型在文本理解和知识归纳方面取得了显著成功，但AI在材料科学等领域的实际应用能否依赖简单的规模化扩展尚未明确。研究目的：针对“Scaling Law（缩放定律）”是否适用于材料建模这类需要三维空间物理操作的任务，研究团队提出了AtomWorld基准测试，专门评估大模型在精确原子操作（如替换、删除、旋转原子等）上的能力，以检验模型规模增长是否能同步提升实际操作能力。结论：实验结果表明，模型规模扩大可以改善规则明确的原子替换、删除等任务，但在旋转、扩超胞等涉及三维空间理解和几何规划的操作上表现极不稳定，即便最强模型（如Claude）在“绕原子旋转”任务上成功率也仅约12%。这揭示了当前Scaling Law的局限性：语言和知识能力的提升无法自动迁移到物理空间的操作能力。未来AI for Science需要转向“Action Scaling”，即系统性扩展可执行动作的数据生成、工具调用和环境反馈，以构建既能理解知识又能执行真实科研任务的智能体。