大模型超参不再凭感觉！复旦团队更新 Scaling Law 适配现代预训练

本文介绍了复旦大学邱锡鹏教授团队针对现代大模型预训练中超参数设置问题的最新研究。背景方面，随着WSD调度器和MoE架构成为主流，传统的Critical Batch Size理论和μP方法面临适用性挑战。研究目的旨在通过大规模实证研究，提出适配现代预训练范式的Batch Size和Learning Rate的Scaling Laws。结论显示，针对Batch Size，团队发现了WSD下loss曲线交叉现象，推导出动态Batch Size策略优于固定策略；针对Learning Rate，实证表明拟合范式优于迁移范式，并给出了最优LR与模型参数量、数据量的幂律关系公式，同时指出分层调参收益有限。