上科大何旭明团队新作：克服简单样本偏置，让多模态模型学会「难题优先」

背景：多模态模型在感知、理解与生成等方面能力持续提升，但仍普遍存在输出与客观事实不一致的幻觉现象，尤其在信息缺失、语义含混或视觉细节复杂的场景中，模型易通过臆测补全，这源于偏好优化训练中简单样本主导导致的结构性偏差。研究目的：上海科技大学何旭明教授团队提出DA-DPO框架，旨在通过预训练模型估计样本难度，动态调整训练权重，使模型学习重点转向复杂且易出错的样本，以低成本方式缓解简单样本偏置，减少幻觉。结论：实验表明，DA-DPO在多个幻觉评测基准上显著降低幻觉率并提升事实一致性，同时保持甚至提升了模型的整体理解与推理能力，通过难度感知训练机制有效平衡了忠实性与综合能力，为多模态偏好学习提供了新视角。