前沿模型也不及格 ：OmniaBench 用644个高难任务重新测量通用智能体

OmniaBench是华为云后训练团队与北京大学DCAI团队等联合推出的通用AI Agent基准，旨在解决现有评测局限于固定场景、缺乏可执行环境和细粒度诊断的问题。研究背景方面，传统语言模型评测采用“一个输入、一个输出、一个标准答案”的范式，无法覆盖真实Agent在部分可观测、持续变化环境中的决策过程。研究目的是构建一套面向ToC、ToB和ToE三类真实应用场景，包含644个高难任务的评测框架，通过四条互补的构造路线（DAG、DAG-S、Solver、Program）提供可执行环境、层次化场景体系和十维能力画像。结论显示，当前22款前沿模型在挑战集上的最高成功率仅为58.54%，没有模型达到60%；主要失败原因并非工具调用错误，而是推理相关失败占比53.8%，包括规划分解困难、违反约束和反思不足。OmniaBench强调从“会调工具”转向“会规划工具”，揭示通用Agent在长程规划、约束维护和纠错闭环上仍有显著差距。