FlashAttention 对计算精度的支持随版本演进而逐步扩展,从初版的 FP16/BF16 到 FlashAttention-3 引入的 FP8,覆盖了大模型训练与推理中的主要精度需求。
初版 FlashAttention 在 2022 年发布时支持 FP16(半精度浮点),随后很快增加了对 BF16(bfloat16)的支持。BF16 具有与 FP32 相同的指数位宽(8 位),动态范围更大,在训练中不易出现数值溢出,已成为大模型训练中最常用的低精度格式。在 A100 等 Ampere 架构上,FlashAttention-2 在 FP16 与 BF16 模式下均能达到理论峰值的 50~73%。BF16 与 FP16 的主要区别在于尾数位宽——BF16 尾数仅 7 位(FP16 为 10 位),精度较低但范围更广,适合对动态范围敏感的训练场景。
FlashAttention-3 是精度支持的重要里程碑,它首次引入了 FP8(8 位浮点)计算支持。FP8 将 Tensor Core 的吞吐量翻倍,但数值精度也随之下降。为控制 FP8 的量化误差,FlashAttention-3 采用了分块量化(block quantization)与非相干处理(incoherent processing)两项技术——后者通过 Hadamard 变换将异常值分散,使 FP8 模式下的数值误差较基线 FP8 实现降低约 2.6 倍。在 H100 上,FP8 模式的注意力吞吐量接近 1.2 PFLOPs/s。FlashAttention-4 延续了对 FP8 的支持,并继承了 incoherent processing 等数值稳定性优化。需要注意的是,FP8 支持需要 Hopper(H100)及更新架构,A100 等 Ampere 架构仅支持 FP16 与 BF16。