清华大学李黄龙团队AEM：基于随机阻变阵列的稀疏自注意力机制实现方法

本文由清华大学李黄龙团队提出，针对大语言模型Transformer中注意力机制算法复杂度高的问题，提出利用具有电导分散性的忆阻器阵列实现稀疏自注意力机制的方法。通过将随机阻变阵列作为随机哈希矩阵，在硬件上一步完成特征向量的哈希分类，从而支持注意力分数的计算仅在相似向量间执行，降低了Transformer的计算复杂度。研究者还提出利用阻变阵列中的D2D分散性和C2C随机性来进一步提高模型的准确率。实验结果表明，基于阻变阵列的稀疏自注意力机制在降低计算复杂度的同时，实现了70%以上的测试准确率。