分析近六十种科学模型，MIT：基础模型或学得物理现实的共同底层表征，附实验证据

背景：人工智能正经历从任务专用模型向通用基础模型的范式转变，这些模型在大量多样化数据上预训练，展现出强大的跨任务泛化能力，其关键在于学习输入的紧凑潜在表征。研究目的：来自麻省理工学院的研究团队旨在探究不同模态、架构和训练领域的科学基础模型是否学到了相似的物质内部表征。结论：通过分析近六十种涵盖分子、材料、蛋白质等多种模态的科学模型，研究发现高性能模型在训练数据相似的输入上，其潜在表征高度对齐，且随着模型性能提升，表征趋于收敛，这暗示基础模型可能正在学习物理现实的共同底层表征。然而，在分布外数据上，模型表征普遍坍缩，表明当前模型仍受训练数据和归纳偏置限制。该研究将表征对齐确立为量化科学模型泛化能力的基准。