首个Token为何沦为数值垃圾桶？LeCun团队解构大模型底层机制

背景：在Transformer架构中，大值激活（Spike）和注意力汇（Attention Sink）是两种常见的内部计算现象，学术界曾认为它们深度耦合。研究目的：LeCun团队旨在通过机制可解释性研究，厘清这两种现象的真实关系及其成因。结论：研究发现，大值激活主要由序列首个位置的架构特性（如前馈网络的特定放大机制）驱动，与语义无关；而Attention Sink是模型在健康优化状态下，为处理短上下文依赖而习得的一种有效路由策略，两者并非必然关联，其共现是Pre-norm等特定设计下的偶然结果。这一发现为独立优化大模型的数值稳定性与长上下文推理能力提供了理论依据。