终于，学界找到了深度学习的「牛顿定律」

本文探讨了深度学习理论基础缺失的现状，并介绍了由UC Berkeley、哈佛、斯坦福等机构14名研究者提出的“学习力学”（Learning Mechanics）理论框架。背景方面，深度学习虽取得巨大成功，但其理论基础仍为“荒原”，成功更多依赖工程直觉而非科学理论。研究目的旨在通过系统梳理过去十年间的理论碎片，为神经网络的学习过程建立第一性原理级别的科学框架，类比物理学中的经典力学、统计力学和量子力学。结论指出，该框架包含五条研究线索：可解的理想化设定（如深度线性网络和NTK极限）、可处理的极限（如惰性与丰富Regime的相变）、经验定律（如神经缩放律和稳定性边缘）、超参数理论（如μP参数化和量纲分析）以及普适行为（如表征收敛和临界普适性）。论文还列出了十个未解之谜，并强调这些理论碎片正在汇聚成统一理论，标志着深度学习从“炼金术”向精密科学的转折。