谁是AI化学家？深势开源RxnBench，用Nature真题“考问”大模型推理极限

本文介绍了由深势科技主导发布的开源多模态基准RxnBench，旨在系统评估大语言模型从真实科学文献中理解和解析化学反应的能力。背景是当前大模型在处理化学文献PDF时面临图形语言凝练、PDF格式非结构化、依赖多模态推理及精度要求高等核心挑战。研究目的是通过构建包含单图问答和全文问答的双层评估体系，诊断模型在视觉感知、信息整合及深层逻辑推理等方面的能力短板。结论显示，现有先进模型（如Gemini系列）在基础信息提取和文本推理上表现良好，但在精细结构识别和跨文档综合推理上仍有显著不足，且显式推理机制对性能提升至关重要。RxnBench的推出为构建可靠“AI化学家”迈出了关键一步，将模型评估推进到科学认知层面。