AMD跑GLM5.2，成本只要英伟达一半

本文介绍了推理优化公司Wafer在AMD MI355X芯片上成功运行最新开源模型GLM 5.2，其性能达到英伟达B200约八成，成本却不到一半。背景方面，随着AI模型规模增大，推理成本成为关键问题，英伟达凭借CUDA生态长期占据优势。研究目的方面，Wafer旨在验证AMD芯片能否以更低成本实现主流大模型的推理，并探索其软件生态的成熟度。结论方面，Wafer通过量化、引擎选择及投机解码等优化，在单节点吞吐和单流吞吐上取得显著成果，同时发现AMD软件生态正在逐步完善。这显示CUDA的护城河正在被侵蚀，但多节点场景下英伟达仍占优。文章还强调小团队借助AI辅助工程能快速完成适配工作，云厂商若复制此类优化，推理价格有望进一步下降。