人大 × 字节团队破解muP理论分歧：用谱条件统一宽深Scaling

本文背景是针对muP（最大更新参数化）理论在宽度扩展场景已较成熟，但在宽深联合扩展场景中存在Depth-muP和CompleteP等理论结论相互矛盾且依赖特定架构的问题。研究目的是通过将宽度扩展中的谱分析思路系统拓展至宽深联合场景，提出统一的谱条件，以调和现有矛盾并推导不同优化器的muP形式。结论是建立了宽深联合扩展的谱条件理论，统一了Depth-muP和CompleteP等结果，指出其差异源于考虑的残差块层数不同，并自然推广到Muon、Adam、SGD等多种优化器，实验验证了该方法在特征学习和超参迁移上的有效性。