首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >FlashAttention >FlashAttention 支持哪些精度模式(FP16、BF16、FP8)?

FlashAttention 支持哪些精度模式(FP16、BF16、FP8)?

词条归属:FlashAttention

FlashAttention 对计算精度的支持随版本演进而逐步扩展,从初版的 FP16/BF16 到 FlashAttention-3 引入的 FP8,覆盖了大模型训练与推理中的主要精度需求。

1. FP16 与 BF16

初版 FlashAttention 在 2022 年发布时支持 FP16(半精度浮点),随后很快增加了对 BF16(bfloat16)的支持。BF16 具有与 FP32 相同的指数位宽(8 位),动态范围更大,在训练中不易出现数值溢出,已成为大模型训练中最常用的低精度格式。在 A100 等 Ampere 架构上,FlashAttention-2 在 FP16 与 BF16 模式下均能达到理论峰值的 50~73%。BF16 与 FP16 的主要区别在于尾数位宽——BF16 尾数仅 7 位(FP16 为 10 位),精度较低但范围更广,适合对动态范围敏感的训练场景。

2. FP8 低精度计算

FlashAttention-3 是精度支持的重要里程碑,它首次引入了 FP8(8 位浮点)计算支持。FP8 将 Tensor Core 的吞吐量翻倍,但数值精度也随之下降。为控制 FP8 的量化误差,FlashAttention-3 采用了分块量化(block quantization)与非相干处理(incoherent processing)两项技术——后者通过 Hadamard 变换将异常值分散,使 FP8 模式下的数值误差较基线 FP8 实现降低约 2.6 倍。在 H100 上,FP8 模式的注意力吞吐量接近 1.2 PFLOPs/s。FlashAttention-4 延续了对 FP8 的支持,并继承了 incoherent processing 等数值稳定性优化。需要注意的是,FP8 支持需要 Hopper(H100)及更新架构,A100 等 Ampere 架构仅支持 FP16 与 BF16。

相关文章
DeepSeek开源周 Day02:从DeepEP开源趋势重新审视大模型Infra
今天DeepSeek开源周第二天,开放了DeepEP仓库,属实看了下源码,和昨天FlashMLA一样,C++权重(包括CUDA)还是占据了绝对部分,作为调包侠的我,看到之后望而却步,想看原理或者实现也是完全看不懂了!
致Great
2025-02-26
8820
70B大模型全量训练参数配置手册(A800 80GB集群)
本手册提供可直接上机执行的70B规模Transformer大语言模型全量预训练参数配置,针对3.5T训练tokens数据集与NVIDIA A800 80GB GPU集群(8卡/16卡InfiniBand互联)深度优化。所有参数均来自2025-2026年工业界大规模训练验证数据,平衡显存占用、训练稳定性与收敛效率。
程序员架构进阶
2026-05-06
1.5K0
显卡突围 “量化魔法”,由数值精度到量化策略介绍
对于训练后的模型,由于显卡类型和支持位宽等因素的限制,需要将模型原始权重转化为更合适部署的数值精度,比如由FP8到INT8的转化,可以适配更多的GPU显卡,进而解锁显卡限制。量化方案主要有几种,又如何进行量化,围绕以上问题,本节主要介绍:
AI老马
2026-01-13
1.8K0
GPU太贵跑不起?这6个优化技巧让LLM推理成本直降
随着深度学习模型(尤其是大语言模型)规模不断增长,推理阶段的计算和存储开销成为实际部署中的主要瓶颈。推理优化的目标是:在尽可能保持模型精度的前提下,降低推理延迟、提高吞吐量、减少内存占用和能耗。
悟空码字
2026-09-02
5590
用FP8训练大模型有多香?微软:比BF16快64%,省42%内存
大型语言模型(LLM)具有前所未有的语言理解和生成能力,但是解锁这些高级的能力需要巨大的模型规模和训练计算量。在这种背景下,尤其是当我们关注扩展至 OpenAI 提出的超级智能 (Super Intelligence) 模型规模时,低精度训练是其中最有效且最关键的技术之一,其优势包括内存占用小、训练速度快,通信开销低。目前大多数训练框架(如 Megatron-LM、MetaSeq 和 Colossal-AI)训练 LLM 默认使用 FP32 全精度或者 FP16/BF16 混合精度。
机器之心
2023-11-02
2K0
点击加载更多
词条知识树 23个知识点
更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券