用自旋电子硬件给AI训练“减负”--激活函数概率梯度反向传播算法硬件加速 | 进展

本文针对传统误差反向传播(BP)算法计算密集、能耗高的问题，提出了一种基于自旋电子硬件的创新优化方案。研究背景是BP算法中的大量乘法运算导致的高能耗瓶颈。研究目的旨在通过激活函数梯度的概率化近似，在不改变网络结构的前提下动态减少无效计算，从而提升算法效率。研究结论表明，中国科学院物理研究所韩秀峰团队利用自旋轨道力矩磁性隧道结(SOT-MTJ)的本征物理随机性，成功构建了激活函数概率梯度反向传播(p-GAF-BP)算法。该算法通过SOT-MTJ的随机翻转特性实现激活函数梯度的无偏估计，在MNIST手写数字识别任务中达到97%以上的准确率，且与经典BP算法精度相当。更重要的是，该算法将梯度计算中的运算量减少约一个数量级，能耗降低约79%，开辟了“硬件-算法协同”的AI节能训练新范式。未来，该方法有望应用于边缘智能芯片、低功耗训练设备乃至大模型训练场景。