从优化到推理：Transformer 贝叶斯本质的几何 + 动力学全景解析

本文通过三部曲论文，从背景、研究目的和结论角度解析了Transformer的本质。背景：长期以来，大型语言模型（LLM）的推理能力被视为难以解释的“黑盒”，其内部工作机制不明。研究目的：来自哥伦比亚大学和Dream Sports的研究团队旨在通过数学理论揭示Transformer的运作机制，证明其并非简单的特征提取器，而是由优化过程诱导出的精确推理机。结论：研究证明，在交叉熵损失和随机梯度下降（SGD）的优化下，Transformer的自注意力机制会自发演化为一套贝叶斯推理机，其内部表征呈现出清晰的几何结构（如正交假设空间、熵有序流形）。这一过程在动力学上等价于隐式的期望最大化算法。该发现为理解模型的推理能力（如思维链）提供了统一的几何与动力学视角，表明“优化产生几何，几何产生推理”，从而试图用数学终结Transformer的黑盒时代。