谁是AI化学家？深势开源RxnBench，用Nature真题“考问”大模型推理极限

背景：随着人工智能与化学交叉领域的发展，大模型在理解化学文献中的反应图示、机理和实验数据时面临挑战，包括高度凝练的图形语言、非结构化PDF格式、多模态推理需求和精度要求高等问题。研究目的：深势科技开源RxnBench基准，旨在系统性评估多模态大语言模型从真实科学文献中理解化学反应的能力，通过单图问答和全文问答双层架构，测试模型在视觉感知、信息整合和逻辑推理方面的表现。结论：评估结果显示，具备推理机制的模型如Gemini系列表现较优，但在结构识别和深层化学逻辑理解上仍存在瓶颈，RxnBench的推出为构建可靠“AI化学家”提供了关键评估工具，推动大模型向科学认知层面发展。