北大、小米团队：多头潜注意力Is All You Need｜大模型论文

本文介绍了北大与小米团队提出的多头潜注意力（MLA）技术，该技术通过低秩矩阵压缩键值状态，减少KV缓存大小，从而提升大语言模型的推理速度。研究团队展示了分组查询注意力（GQA）可被MLA表示，并提出了TransMLA方法，将基于GQA的预训练模型转换为基于MLA的模型，以在不增加KV缓存的情况下提升表达能力。此外，团队计划开发针对MLA的推理加速技术，以保持模型低延迟。