ICML 2026 | 大模型为何越改越稳？中科大揭开终身归一化黑箱

近年来，模型编辑技术为更新大语言模型中的过时知识提供了精确且低成本的途径。然而，当编辑次数扩展至数十万乃至百万次时（即终身模型编辑，LME），模型常面临灾难性遗忘和模型崩溃问题。研究发现，在长程编辑中表现稳定的方法（如ULTRAEDIT、RLEdit）均采用Lifelong Normalization (LN)策略。本文旨在揭示LN在LME中的关键作用，并首次为其提供理论解释。LN本质上是在编辑过程中对动态梯度分布进行递归贝叶斯追踪，而非简单的数值归一化。当与岭回归结合时，LN能生成具有渐近正交性与有界范数的参数更新，有效缓解灾难性遗忘与模型崩溃。研究还观察到“正向累积效应”，即历史编辑可帮助后续编辑更稳定。基于此，作者提出StableEdit方法，通过引入warm-up阶段和full whitening策略，在百万级编辑流中进一步提升了稳定性。实验表明，StableEdit在多个基准测试上表现优异，验证了理论预测。