国产智源多模态大模型登上Nature

背景：多模态学习是人工智能领域的基本挑战，旨在统一从文本、图像和视频等多种形式中学习和生成，但现有方法如扩散模型或组合视觉语言管道仍存在分散性和手工设计问题。研究目的：该研究探讨单一的下一个词元预测框架是否可作为多模态学习的通用基础，并开发了Emu3模型家族，仅通过下一个词元预测训练，以统一大规模多模态学习。结论：Emu3在感知和生成任务上达到了与成熟特定任务模型竞争的性能，消除了对扩散或组合架构的依赖，展示了在视频生成、视觉-语言交互等应用中的潜力，为统一多模态智能提供了新路径。