FlashAttention 的设计建立在对 GPU 非对称存储层级的深刻理解之上。现代 GPU 拥有两级主要存储:片上 SRAM 容量小(A100 约为 20 MB)但速度极快,片外 HBM 容量大(A100 约为 80 GB)但速度慢得多。这种容量与速度之间的巨大落差,正是 FlashAttention 加以利用的结构性特征。
具体而言,FlashAttention 将 Query、Key、Value 矩阵切分为能装进 SRAM 的小块(tile),每个 tile 从 HBM 加载到 SRAM 后,在该块上完成点积、缩放、softmax 等全部计算,只有最终输出才写回 HBM。这种做法使得 HBM 的读写次数与序列长度的关系从二次方降为线性。论文的量化分析表明,在 A100 上、头维度 d=64 的条件下,HBM 访问量的改进因子约为 M/d²(M 为 SRAM 大小),大致相当于 25 倍。正是这种对存储层级的精细利用,使 FlashAttention 能够在不增加计算量的前提下,大幅缩短实际运行时间。