首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >FlashAttention >FlashAttention 系列各版本的演进历程是怎样的?

FlashAttention 系列各版本的演进历程是怎样的?

词条归属:FlashAttention

FlashAttention 自 2022 年首次提出以来,经历了四个主要版本的迭代,每个版本都针对新一代 GPU 架构的特性进行了深度优化,从 A100(Ampere)到 H100(Hopper)再到 B200(Blackwell),利用率逐步提升。

1. FlashAttention 与 FlashAttention-2

FlashAttention(2022,NeurIPS 2022)由 Tri Dao 等人在斯坦福大学提出,首次引入 IO 感知的分块精确注意力,在 A100 上实现 2~4 倍加速与 5~20 倍内存节省,计算利用率约为理论峰值的 25~40%。FlashAttention-2(2023 年 7 月,arXiv:2307.08691)由 Tri Dao 在普林斯顿大学期间提出,针对初版在 GPU 线程块与 warp 之间工作分配不均的问题进行优化,通过减少非矩阵乘法 FLOP、跨线程块并行化、优化 warp 间工作分配三项改进,在 A100 上将利用率提升至 50~73%,端到端 GPT 训练速度达到每卡 225 TFLOPs/s(72% 模型 FLOPs 利用率),较初版提升约 2 倍。

2. FlashAttention-3 与 FlashAttention-4

FlashAttention-3(2024 年 7 月,arXiv:2407.08608,NeurIPS 2024)由 Jay Shah、Ganesh Bikshandi(Colfax Research)与 Tri Dao 等人合作,专为 NVIDIA Hopper 架构(H100)设计。它利用 Hopper 的 WGMMA 指令、Tensor Memory Accelerator(TMA)与 FP8 支持,通过 warp 专门化实现计算与数据搬运的异步重叠,在 H100 上 FP16 前向达到约 740 TFLOPs/s(约 75% 利用率),FP8 模式接近 1.2 PFLOPs/s,较 FlashAttention-2 提升 1.5~2.0 倍。FlashAttention-4(2026 年 3 月正式发布,MLSys 2026)由 Zadouri、Shah、Hohnerbach、Liu、Thakkar 与 Dao 等人开发,面向 NVIDIA Blackwell 架构(B200)。该版本应对的核心挑战是 Blackwell 上硬件资源的非对称扩展——从 H100 到 B200,BF16 Tensor Core 吞吐量从 1 PFLOPs 增至 2.25 PFLOPs,而负责指数运算的特殊功能单元(SFU)与共享内存带宽几乎未变。FlashAttention-4 通过乒乓调度(ping-pong scheduling)、基于多项式近似的软件指数模拟、条件式 softmax 重缩放等创新,在 B200 上 BF16 前向达到约 1605 TFLOPs/s(71% 利用率),较 cuDNN 9.13 快 1.3 倍、较 Triton 快 2.7 倍。该版本采用 CuTe-DSL 编写,PyTorch 的 FlexAttention 已支持将其作为后端。

相关文章
以太坊扩展演进历程,以太坊会有怎样的扩展未来
以太坊一直是用户和开发人员的首选区块链,在 DeFi 和 NFT 上的 TVL 超过 550 亿美元。然而,如此高的网络采用率也给以太坊网络带来了重大问题,尤其是在其可扩展性方面,因为目前的网络在保持理想的去中心化程度的同时,每秒平均只能处理 13.5 笔交易。
小将
2022-10-10
9140
爬虫系列-网页是怎样构成的
网络爬虫又称网络蜘蛛、网络机器人,它是一种按照一定的规则自动浏览、检索网页信息的程序或者脚本。网络爬虫能够自动请求网页,并将所需要的数据抓取下来。通过对抓取的数据进行处理,从而提取出有价值的信息。
用户10002156
2023-08-07
1.2K0
NVIDIA Jetson系列到底是怎样的产品?
首先,让我们来了解一下是什么在推动边缘的人工智能的发展。传感器技术和经济的进步创造了联网设备的繁荣,也被称为物联网。这些设备正在提高生产力。
GPUS Lady
2020-07-02
2K0
NVIDIA Jetson系列到底是怎样的产品?
首先,让我们来了解一下是什么在推动边缘的人工智能的发展。传感器技术和经济的进步创造了联网设备的繁荣,也被称为物联网。这些设备正在提高生产力。
GPUS Lady
2020-06-12
2.5K0
【Java设计模式实战系列】好的单例模式是怎样的?
如何保证一个类只有一个实例,且该实例易于访问? 定义一个全局变量可以确保对象随时都可以被访问,但无法避免实例化多个对象。
JavaEdge
2021-10-18
9970
点击加载更多
词条知识树 23个知识点
更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券