深入解析LLM推理中的DecodeBatch内部负载不均问题

本文深入解析了LLM推理中Decode Batch内部负载不均问题。背景：在LLM推理的Decode阶段，不同请求的历史序列长度(kv_len)存在显著差异，导致GPU各SM间任务量不均，影响Kernel执行效率。研究目的：分析Decode Batch内部负载不均衡的原因，特别是FlashInfer中因SplitKV启发式关闭导致的耗时拐点，以及FlashAttention-3如何缓解该问题。结论：FlashInfer在Batch Size超过阈值后会关闭SplitKV，使少数长请求形成尾部重CTA，导致负载不均；FlashAttention-3通过Persistent Kernel和动态SplitKV机制，为长请求逐请求切分任务，并采用重任务优先调度，有效缓解了负载不均。实验表明，FA3在长短请求混合场景下耗时更稳定，但其动态SplitKV在均匀Batch中可能因Wave Quantization产生波动。文章还分析了SGLang为何在Hopper架构下默认选择FA3而非FlashInfer。综上，需重点关注Batch内长度分布对Decode性能的影响。