首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >FlashAttention >FlashAttention 如何利用 GPU 的 SRAM 与 HBM 存储层级?

FlashAttention 如何利用 GPU 的 SRAM 与 HBM 存储层级?

词条归属:FlashAttention

FlashAttention 的设计建立在对 GPU 非对称存储层级的深刻理解之上。现代 GPU 拥有两级主要存储:片上 SRAM 容量小(A100 约为 20 MB)但速度极快,片外 HBM 容量大(A100 约为 80 GB)但速度慢得多。这种容量与速度之间的巨大落差,正是 FlashAttention 加以利用的结构性特征。

具体而言,FlashAttention 将 Query、Key、Value 矩阵切分为能装进 SRAM 的小块(tile),每个 tile 从 HBM 加载到 SRAM 后,在该块上完成点积、缩放、softmax 等全部计算,只有最终输出才写回 HBM。这种做法使得 HBM 的读写次数与序列长度的关系从二次方降为线性。论文的量化分析表明,在 A100 上、头维度 d=64 的条件下,HBM 访问量的改进因子约为 M/d²(M 为 SRAM 大小),大致相当于 25 倍。正是这种对存储层级的精细利用,使 FlashAttention 能够在不增加计算量的前提下,大幅缩短实际运行时间。

相关文章
内存优化黑科技|Flash attention 为什么那么快?
大模型训练和推理大多是内存访问密集型,尤其推理时动辄几K长度的输入,内存大小,读写频次成为难以逾越的性能瓶颈。如何突破内存墙限制?本文围绕FlashAttention通过分块计算和动态重计算技术,对注意力机制进行优化,在保证准确性的同时,如何大幅优化注意力机制的内存效率和计算速度。主要包括:
AI老马
2026-01-13
1.2K0
FlashAttention算法详解
这篇文章的目的是详细的解释Flash Attention,为什么要解释FlashAttention呢?因为FlashAttention 是一种重新排序注意力计算的算法,它无需任何近似即可加速注意力计算并减少内存占用。所以作为目前LLM的模型加速它是一个非常好的解决方案,本文介绍经典的V1版本,最新的V2做了其他优化我们这里暂时不介绍。因为V1版的FlashAttention号称可以提速5-10倍,所以我们来研究一下它到底是怎么实现的。
deephub
2023-08-30
2.1K0
破解LLM性能瓶颈:你必须了解的两项注意力优化技术​
在大语言模型(LLM)的推理过程中,Attention机制是计算和内存消耗的主要瓶颈。FlashAttention和PagedAttention作为两项革命性优化技术,分别从计算效率和内存管理两个维度显著提升了LLM的推理性能。今天我将深度解析这两种注意力加速技术及其优化策略,希望对你有所帮助,如有遗漏,欢迎交流。
AI课代表
2025-09-18
1.6K0
FlashAttention图解(如何加速Attention)
来源丨https://zhuanlan.zhihu.com/p/626079753
BBuf
2023-10-30
2.4K0
FlashAttention2详解(性能比FlashAttention提升200%)
来源丨https://zhuanlan.zhihu.com/p/645376942
BBuf
2023-10-30
8.1K0
点击加载更多
词条知识树 23个知识点
更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券