不改架构、不加算力：NousResearch巧用Token叠加，预训练提速2.5倍

本研究由Nous Research提出Token Superposition Training（TST）方法，旨在不改变模型架构、并行策略、优化器等前提下，提升大语言模型预训练阶段的吞吐量。背景在于标准LLM预训练处理有限token序列，现有提速方法常改变模型结构。研究目的为探索仅修改训练过程、不改变推理结构的提速方案。TST分为叠加阶段（将连续token嵌入平均后预测下一组token）和恢复阶段（切回标准逐token预测），并采用多热交叉熵损失。在10B MoE模型实验中，TST以不到40%的训练时间达到基线损失水平，实现约2.5倍预训练提速。结论表明，TST通过增加数据消耗在同等计算量下降低训练损失，输入与输出叠加机制相互独立，且保持表示对齐对收益延续至关重要。该方法在算力受限且数据充足场景下具有吸引力。