FlashAttention 在 BF16 等低精度训练场景中存在一个长期未被解释的数值稳定性问题,表现为训练过程中 loss 突然爆炸至无穷大,这一问题在多个开源项目中被反复报告,直到 2026 年才获得机制性解释。
使用 FlashAttention 与 BF16 训练 GPT-2 时,训练初期正常收敛,但在数千步之后 loss 会突然爆炸至无穷大。这一问题在 nanoGPT(Issue #303)等多个开源项目中反复被报告,持续两年以上未能得到机制性解释,开发者只能依赖 QK 归一化、QK 裁剪等经验性补丁来维持训练。该现象具有可复现性——在相同数据顺序下,使用标准注意力或将关键计算提高到 FP32 均可避免 loss 爆炸,说明问题与 FlashAttention 在 BF16 精度下的特定数值行为直接相关。
2026 年,清华大学研究者在 ICLR 2026 发表论文,首次给出了从数值误差到 loss 爆炸的完整机制链。研究发现,问题的根源并非 FlashAttention 的 tiling 机制,而是 safe softmax 计算与 BF16 舍入误差的交互:当注意力分数矩阵的一行中出现多个相同最大值时,注意力概率会精确等于 1.0,此时 BF16 的"round-to-nearest, ties-to-even"舍入规则在累加大量负数时会产生系统性方向偏置,而非通常假设的零均值噪声。这种偏置与注意力机制中涌现的相似低秩结构相互作用,形成误差累积的恶性循环,最终导致权重谱范数异常增长、训练崩溃。基于这一机制分析,研究者提出了 Stabilized Flash Attention(SFA):当前向传播检测到一行中存在多个相同最大值时,动态调整 safe softmax 的行移位常数,使注意力概率严格小于 1.0,从而打破误差累积循环。该修复几乎零开销,在 GPT-2 Small 上以 AdamW 与 Muon 两种优化器均稳定训练至 60 万步,且在 A100、RTX 4090、Ascend 910B 等多种硬件上表现一致。