Online softmax 是 FlashAttention 能够分块计算精确 softmax 的数学基础。标准 softmax 需要两趟扫描:第一趟找到整行的最大值以保证数值稳定性,第二趟计算指数并归一化。这种两趟扫描要求一次性看到整行数据,与 tiling 的分块处理方式天然矛盾。
Online softmax 通过维护"运行最大值"和"运行指数和"两个统计量,实现了单趟流式计算。处理第一个块时,计算该块的局部最大值 m₁ 和局部指数和 l₁;处理第二个块时,更新全局最大值 m=max(m₁,m₂),并据此对之前的部分结果进行重缩放(rescale),同时累加新块的指数值;如此逐块推进,直到处理完全部块。最终的输出结果与一次性计算完整 softmax 在数学上完全等价,只是计算顺序不同。这一技巧使得 FlashAttention 无需在内存中构造完整的 N×N 注意力矩阵,就能得到精确的注意力输出,是整个算法能够成立的核心数学工具。