大模型的第一性原理：（二）信号处理篇

本文从信号处理角度探讨大模型的第一性原理，背景在于大模型将自然语言处理转化为信号处理问题，通过语义向量化将Token表示为向量，从而利用内积等数值计算工具降低复杂度。研究目的是分析语义向量化的数学基础（如Gromov-Wasserstein距离、Johnson-Lindenstrauss引理）和最优编码器设计（基于信息论如定向信息），并揭示Transformer本质是非线性时变向量自回归时间序列，其训练目标（预测下一个Token）逼近Granger因果推断。结论指出，语义向量空间通过相对关系定义语义，信息论与信号处理为大模型提供理论基础，未来可扩展至多模态对齐，且AI时代需从BIT转向TOKEN为核心。