eLife丨北京师范大学汪寅研究团队通过多模态深度学习实现自然刺激的综合神经表征

背景：认知神经科学面临的核心挑战是理解大脑在自然环境中如何表征和预测复杂的多模态体验，传统单模态或静态特征模型难以捕捉现实世界认知的动态结构。研究目的：北京师范大学汪寅团队通过构建视频文本对齐编码框架，整合跨时间视觉和语言特征，旨在实现更准确、通用的全脑神经反应预测，并探索大脑多模态整合机制。结论：该研究证实多模态深度学习模型能显著提升神经编码准确性，自动映射皮层语义空间，并揭示与个体认知能力相关的分层预测编码梯度，为理解现实世界大脑功能提供了生态学有效的强大方法。