FlashAttention 的核心工作方式可以概括为"重新组织注意力计算的数据流动路径,让中间结果始终停留在 GPU 的片上高速缓存中"。标准注意力实现会先计算出完整的 N×N 注意力分数矩阵,将其写入高带宽内存(HBM),再读回做 softmax,之后再读回一次以计算加权和,整个过程对 HBM 的读写极其频繁。FlashAttention 则将 Query、Key、Value 三个矩阵切分成若干小块,逐块从 HBM 加载到片上 SRAM,在 SRAM 内完成该块的注意力计算,最后只把输出结果写回 HBM——那个庞大的 N×N 中间矩阵自始至终不会在 HBM 中出现。
要让这种分块计算得到与标准注意力完全一致的结果,FlashAttention 依赖三项关键技术的配合:tiling 负责把大矩阵拆成能装进 SRAM 的小块,online softmax 负责在只看到部分分数的情况下逐步计算出正确的 softmax,recomputation(重计算)负责在反向传播时按需重新生成中间结果而非存储它们。三者协同,使 FlashAttention 在保持精确注意力的同时,把对 HBM 的访问次数从 Θ(N²) 降低到 O(N²d²/M)(其中 d 为头维度、M 为 SRAM 大小),在 A100 上约相当于 25 倍的改进。