首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >FlashAttention >FlashAttention 是如何工作的?

FlashAttention 是如何工作的?

词条归属:FlashAttention

FlashAttention 的核心工作方式可以概括为"重新组织注意力计算的数据流动路径,让中间结果始终停留在 GPU 的片上高速缓存中"。标准注意力实现会先计算出完整的 N×N 注意力分数矩阵,将其写入高带宽内存(HBM),再读回做 softmax,之后再读回一次以计算加权和,整个过程对 HBM 的读写极其频繁。FlashAttention 则将 Query、Key、Value 三个矩阵切分成若干小块,逐块从 HBM 加载到片上 SRAM,在 SRAM 内完成该块的注意力计算,最后只把输出结果写回 HBM——那个庞大的 N×N 中间矩阵自始至终不会在 HBM 中出现。

要让这种分块计算得到与标准注意力完全一致的结果,FlashAttention 依赖三项关键技术的配合:tiling 负责把大矩阵拆成能装进 SRAM 的小块,online softmax 负责在只看到部分分数的情况下逐步计算出正确的 softmax,recomputation(重计算)负责在反向传播时按需重新生成中间结果而非存储它们。三者协同,使 FlashAttention 在保持精确注意力的同时,把对 HBM 的访问次数从 Θ(N²) 降低到 O(N²d²/M)(其中 d 为头维度、M 为 SRAM 大小),在 A100 上约相当于 25 倍的改进。

相关文章
FlashAttention图解(如何加速Attention)
来源丨https://zhuanlan.zhihu.com/p/626079753
BBuf
2023-10-30
2.4K0
TypeScript是如何工作的
TypeScript 是一门基于 JavaScript 拓展的语言,它是 JavaScript 的超集,并且给 JavaScript 添加了静态类型检查系统。TypeScript 能让我们在开发时发现程序中类型定义不一致的地方,及时消除隐藏的风险,大大增强了代码的可读性以及可维护性。相信大家对于如何在项目中使用 TypeScript 已经轻车熟路,本文就来探讨简单探讨一下 TypeScript 是如何工作的,以及有哪些工具帮助它实现了这个目标。
ConardLi
2021-09-29
8.2K0
HashMap是如何工作的
最简单形式的 hash,是一种在对任何变量/对象的属性应用任何公式/算法后, 为其分配唯一代码的方法。
java思维导图
2020-06-05
5.6K0
HTTPS是如何工作的?
HTTPS(Hypertext Transfer Protocol Secure)是HTTP(Hypertext Transfer Protocol)的安全版本,用于在用户的Web浏览器和网站之间传输数据。HTTPS在传输过程中对数据进行加密,提供了一个安全且私密的通信通道。以下是HTTPS的工作原理的简化解释:
coderidea
2024-02-22
2.6K0
Goroutine是如何工作的
一、Go语言简介 如果你是Go语言新手,或如果你对"并发(Concurrency)不是并行(parallelism)"这句话毫无赶脚,那么请看一下Rob Pike大神关于这个主题的演讲吧,演讲共30分 钟,我敢保证你在这个演讲上花费30分钟是绝对值得的。 总结一下两者(Concurrency和Parallelism)的不同:"当人们听到并发(Concurrency)这个词时,总是会想起并行 (Parallelism),它们之间有相关性,但却是两个明显不同的概念。在编程领域,并发(Concurrency)是独
李海彬
2018-03-21
4.2K0
点击加载更多
词条知识树 23个知识点
更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券