Tiling 是 FlashAttention 实现内存高效计算的基础手段,其本质是将无法整体装入 SRAM 的大矩阵,切分成若干能装进 SRAM 的小块,逐块处理。在注意力计算中,FlashAttention 将 Query 矩阵按行切分为大小为 B_r×d 的块,将 Key 和 Value 矩阵按行切分为大小为 B_c×d 的块(其中 B_r、B_c 为块大小,d 为头维度,典型取值为 64~128)。
计算过程中,FlashAttention 对每个 Query 块只做一次加载,然后遍历所有对应的 Key 和 Value 块,逐块计算部分注意力结果,并通过 online softmax 将这些部分结果累积起来。每个 tile 在 SRAM 中完成从分数计算、softmax 到与 Value 相乘的全部操作,中间结果无需写回 HBM。这种分块策略不仅适用于前向传播,也被 FlashAttention 的反向传播所采用——反向传播同样以分块方式重新计算注意力矩阵,从而避免存储完整的前向中间结果。Tiling 与 online softmax 的结合,是 FlashAttention 能够在有限 SRAM 中完成精确注意力计算的关键所在。