FlashAttention 与稀疏注意力的根本区别在于对注意力矩阵的处理方式:FlashAttention 计算完整的精确注意力(所有 token 对之间的注意力均被计算,仅受因果掩码约束),而稀疏注意力通过预定义的稀疏模式(如滑动窗口、局部注意力、全局 token、随机连接等)只计算注意力矩阵中的一部分元素,从而将计算复杂度从 O(N²) 降至 O(N·k)(k 为每个 token 的连接数)或更低。
在精确性上,FlashAttention 的输出与标准注意力完全一致,而稀疏注意力是一种近似方法——它假设远距离 token 之间的注意力权重可以忽略,这在某些任务中成立,但在需要全局依赖的任务中可能损失质量。在历史脉络上,稀疏注意力方法(如 Longformer、BigBird、Reformer)多在 2020 年前后提出,是 FlashAttention 之前解决长序列问题的主要思路,但由于近似带来的质量不确定性与实现复杂度,大规模训练中并未被广泛采用。FlashAttention 的出现改变了这一格局——它以精确计算的方式解决了长序列的内存瓶颈,使得稀疏近似在多数场景下不再必要。不过,在超长序列(如百万 token 级别)场景下,即使内存不再是瓶颈,O(N²) 的计算量仍可能成为制约,此时稀疏注意力或其与 FlashAttention 的混合方案仍有其价值。