大模型真听懂了吗？最全综合性口语感知与推理基准 | ICLR'26

背景：随着语音大模型从语音识别走向复杂交互，其真实理解能力受到质疑。自然口语理解不仅依赖转写文本，更依赖于语调、停顿、情绪等副语言线索。研究目的：为系统评估语音大模型在多层语言现象下的感知与推理能力，研究团队提出了综合性语音理解评测基准MMSU。该基准基于语言学理论构建，覆盖47个子任务，旨在刻画模型从声学感知到语用推理的全方位能力。结论：评测显示，最佳模型得分远低于人类水平，且模型在基础声学感知（尤其是音系相关能力）上存在系统性短板，这限制了其高阶推理。研究强调，真正的语音理解需要模型同时处理语言内容、声音组织与表达风格，而MMSU为这种能力的评估与改进提供了结构化标尺。