标准注意力机制的瓶颈并不在于算力,而在于内存带宽。现代 GPU 的计算速度早已超过内存速度,Transformer 中的大多数操作实际上被内存访问所阻塞。FlashAttention 通过让算法具备 IO 感知能力,显式考虑显存层级之间的读写开销,把注意力计算重新编排为对 HBM 友好的形式,从根本上缓解了长上下文训练与推理的内存压力。
以 A100 GPU 为例,片上 SRAM 的带宽约为 19 TB/s,而片外 HBM 的带宽仅约 2 TB/s,两者相差近一个数量级。标准注意力在序列长度为 8192、注意力头数为 32 的场景下,仅注意力矩阵本身就需要约 8.6 GB 的存储,且这些数据需要在 HBM 中反复读写多次。原始论文的基准测试显示,在相同工作负载下,FlashAttention 将 HBM 的读写量从 35.3 GB 降至 4.4 GB,运行时间从 35.1 ms 降至 11.7 ms。这种优化在长序列场景下收益尤为显著,因为标准注意力的内存开销随序列长度呈二次增长。
FlashAttention 将内存复杂度从二次方降到线性的根本原因,在于它彻底避免了在 HBM 中构造完整的 N×N 注意力矩阵。通过 tiling 将计算拆解为逐块进行,每个时刻 SRAM 中只需保存常数数量的块,这些块的总大小与序列长度呈线性关系。原始论文报告,在序列长度为 2K 时内存节省约 10 倍,在 4K 时约 20 倍,且这种节省比例随序列长度增加而持续扩大。正因如此,标准注意力在 A100 上约在 4K 序列长度时耗尽显存,而 FlashAttention 可扩展至 64K 甚至更长。