用自旋电子硬件给AI训练“减负”--激活函数概率梯度反向传播算法硬件加速

人工智能的发展依赖于深度神经网络，其底层算法误差反向传播(BP)算法包含大量乘法运算，导致计算密集和高能耗。中国科学院物理研究所韩秀峰团队提出了一种新的优化思路，利用自旋轨道力矩磁性隧道结(SOT-MTJ)的本征物理随机性，通过硬件随机采样实现激活函数梯度的概率化近似，构建出激活函数概率梯度反向传播(p-GAF-BP)算法。该算法利用SOT-MTJ的连续可调随机翻转特性，将其作为概率可调的真随机数发生器，实现了对sigmoid等激活函数梯度的无偏估计，并显著减少了计算量。在MNIST手写数字识别任务中，该算法在保持97%以上识别准确率的同时，将梯度计算中的乘法与加法运算量减少约一个数量级，能耗降低约79%。该工作通过“硬件-算法协同”的方式，为AI训练提供了低功耗的新范式，未来有望应用于边缘智能芯片及大规模模型训练。