别让 loss.backward() 成为黑盒：手推Transformer全链路梯度（含LoRA）

本文基于一篇来自Oracle的最新论文，对Transformer模型的反向传播过程进行了白盒化拆解。背景上，论文指出在深度学习框架高度封装的当下，loss.backward()掩盖了梯度流动的细节，而任何前向传播理解的疏漏都会在微分损失函数时暴露。研究目的旨在通过无索引的向量化符号体系，从矩阵微积分视角重新审视Embedding、Self-Attention、LayerNorm及LoRA等组件的反向传播推导，揭示其内在数学逻辑。结论包括：Softmax的归一化特性导致其梯度行和为零，使得Key层的偏置参数冗余；自注意力机制具有置换等价性，必须依赖位置编码来捕捉序列顺序；KV Cache在推理时将计算复杂度从二次降为线性；LayerNorm可通过与Batch Normalization的对偶关系理解其稳定训练的作用；LoRA的低秩分解实现了参数高效微调。全文通过推导展示了Transformer设计中隐藏的优雅逻辑，如梯度守恒、高阶交互涌现等，为大模型的理解提供了坚实基础。