邱子涵@通义千问：大语言模型中的门控注意力机制：非线性，稀疏性与消除注意力池

本文介绍了通义千问团队邱子涵在学术分享中关于大语言模型门控注意力机制的研究。背景是提升大语言模型的性能和稳定性。研究目的是系统分析门控机制的有效性，并探究其作用原理。结论表明，门控机制通过增强注意力的非线性和提供输入相关的稀疏性来提升模型效果，并能消除注意力池和巨量激活现象，提高训练稳定性及长度外推能力，相关成果已应用于Qwen3-Next模型。