FlashAttention 将内存复杂度从二次方降到线性的根本原因,在于它彻底避免了在 HBM 中构造完整的 N×N 注意力矩阵。标准注意力的内存瓶颈正是这个中间矩阵——序列长度为 N 时,注意力分数矩阵包含 N² 个元素,内存需求随序列长度呈二次增长。
FlashAttention 通过 tiling 将计算拆解为逐块进行,每个时刻 SRAM 中只需保存常数数量的块(Query 块、当前 Key/Value 块、累积输出等),这些块的总大小与序列长度呈线性关系。完整的 N×N 矩阵自始至终未被构造。原始论文报告,在序列长度为 2K 时内存节省约 10 倍,在 4K 时约 20 倍,且这种节省比例随序列长度增加而持续扩大。正因如此,FlashAttention 能够将可处理的序列长度扩展到远超标准注意力所能承受的范围——标准注意力在 A100 上约在 4K 序列长度时耗尽显存,而 FlashAttention 可扩展至 64K 甚至更长。