FlashAttention 自 2022 年首次提出以来,经历了四个主要版本的迭代,每个版本都针对新一代 GPU 架构的特性进行了深度优化,从 A100(Ampere)到 H100(Hopper)再到 B200(Blackwell),利用率逐步提升。
FlashAttention(2022,NeurIPS 2022)由 Tri Dao 等人在斯坦福大学提出,首次引入 IO 感知的分块精确注意力,在 A100 上实现 2~4 倍加速与 5~20 倍内存节省,计算利用率约为理论峰值的 25~40%。FlashAttention-2(2023 年 7 月,arXiv:2307.08691)由 Tri Dao 在普林斯顿大学期间提出,针对初版在 GPU 线程块与 warp 之间工作分配不均的问题进行优化,通过减少非矩阵乘法 FLOP、跨线程块并行化、优化 warp 间工作分配三项改进,在 A100 上将利用率提升至 50~73%,端到端 GPT 训练速度达到每卡 225 TFLOPs/s(72% 模型 FLOPs 利用率),较初版提升约 2 倍。
FlashAttention-3(2024 年 7 月,arXiv:2407.08608,NeurIPS 2024)由 Jay Shah、Ganesh Bikshandi(Colfax Research)与 Tri Dao 等人合作,专为 NVIDIA Hopper 架构(H100)设计。它利用 Hopper 的 WGMMA 指令、Tensor Memory Accelerator(TMA)与 FP8 支持,通过 warp 专门化实现计算与数据搬运的异步重叠,在 H100 上 FP16 前向达到约 740 TFLOPs/s(约 75% 利用率),FP8 模式接近 1.2 PFLOPs/s,较 FlashAttention-2 提升 1.5~2.0 倍。FlashAttention-4(2026 年 3 月正式发布,MLSys 2026)由 Zadouri、Shah、Hohnerbach、Liu、Thakkar 与 Dao 等人开发,面向 NVIDIA Blackwell 架构(B200)。该版本应对的核心挑战是 Blackwell 上硬件资源的非对称扩展——从 H100 到 B200,BF16 Tensor Core 吞吐量从 1 PFLOPs 增至 2.25 PFLOPs,而负责指数运算的特殊功能单元(SFU)与共享内存带宽几乎未变。FlashAttention-4 通过乒乓调度(ping-pong scheduling)、基于多项式近似的软件指数模拟、条件式 softmax 重缩放等创新,在 B200 上 BF16 前向达到约 1605 TFLOPs/s(71% 利用率),较 cuDNN 9.13 快 1.3 倍、较 Triton 快 2.7 倍。该版本采用 CuTe-DSL 编写,PyTorch 的 FlexAttention 已支持将其作为后端。