大模型长脑子了?研究发现LLM中层会自发模拟人脑进化

机器学习算法与自然语言处理 2026-01-16 08:38
文章摘要
背景:生物智能与人工智能的演化路径不同,但研究者探索它们是否遵循共同的计算原理。研究目的:分析大型语言模型(LLM)在学习过程中内部信息处理结构的自发演化,特别是协同与冗余模式的分布,并与生物大脑进行类比。结论:研究发现LLM中层会自发形成高协同性的“协同核心”结构,类似于人脑的联合皮层,负责高级语义集成和抽象推理;而底层和顶层则表现为高冗余的“冗余外周”。这种结构是通过学习而非架构固有形成的,消融协同核心会导致模型性能显著下降,且强化学习微调协同核心能有效提升模型能力。这表明智能演化可能存在趋同性,为模型可解释性和高效训练提供了新见解。
大模型长脑子了?研究发现LLM中层会自发模拟人脑进化
本站注明稿件来源为其他媒体的文/图等稿件均为转载稿,本站转载出于非商业性的教育和科研之目的,并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题,请作者速来电或来函联系。
机器学习算法与自然语言处理
最新文章
热门类别
相关文章
联系我们:info@booksci.cn Book学术提供免费学术资源搜索服务,方便国内外学者检索中英文文献。致力于提供最便捷和优质的服务体验。 Copyright © 2023 布克学术 All rights reserved.
京ICP备2023020795号-1
ghs 京公网安备 11010802042870号
Book学术文献互助
Book学术文献互助群
群 号:604180095
Book学术官方微信