北大团队发布化学大模型基准SUPERChem：挑战多模态高难度化学推理

背景：随着大语言模型在自然科学领域从简单问答转向复杂推理，现有通用科学基准趋于饱和，化学专用基准多关注基础能力，缺乏对深度推理的系统考察。研究目的：北京大学团队发布化学大模型基准SUPERChem，旨在通过构建涵盖结构与性质、化学反应与合成、化学原理与计算、实验设计与分析四大核心领域的高难度题目，并引入推理路径一致性指标，系统评估大语言模型的化学推理能力，填补化学深度推理评估的空白。结论：评测显示，SUPERChem具有较高难度与区分度，前沿模型的化学推理能力仅与化学专业低年级本科生水平相当，在涉及高阶化学推理的任务上存在明显短板，且多模态信息对不同模型的影响各异，为后续模型的优化提供了明确方向。