NSR综述：多模态大语言模型

近年来，大语言模型（LLM）在自然语言处理领域取得了显著进展，但其局限性在于只能处理文本输入输出。为解决这一问题，多模态大语言模型（MLLM）应运而生，它结合了多模态信息处理能力，能够处理图像、声音等多种形式的信息。MLLM具有模型大、新的训练范式等特点，展现出如数学推理、故事创作等新能力。本文综述了MLLM的基础构成、训练策略、数据与评估，并讨论了多模态幻觉、上下文学习等研究主题，为相关研究提供了指南。