刘瑷玮@腾讯微信\u00A0AI研究员：WeDLM：基于因果注意力重构扩散语言模型，实现高效并行推理

背景：扩散语言模型在生成任务中展现出潜力，但其双向注意力机制导致无法有效利用键值（KV）缓存，限制了推理效率。研究目的：腾讯微信AI研究员刘瑷玮提出的WeDLM框架，旨在通过重构因果注意力，实现扩散语言模型的高效并行推理。结论：WeDLM采用拓扑重排序、双流掩码训练和流式并行解码等创新技术，在Qwen系列模型上继续预训练后，在GSM8K等基准测试中不仅保持了模型能力，还实现了显著的推理加速（最高达10倍以上），成为首个在实际部署中超越自回归推理引擎的扩散语言模型，为扩散式解码与高效缓存结合开辟了新方向。