首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >FlashAttention >FlashAttention 为什么能将内存占用从 O(N²) 降到 O(N)?

FlashAttention 为什么能将内存占用从 O(N²) 降到 O(N)?

词条归属:FlashAttention

FlashAttention 将内存复杂度从二次方降到线性的根本原因,在于它彻底避免了在 HBM 中构造完整的 N×N 注意力矩阵。标准注意力的内存瓶颈正是这个中间矩阵——序列长度为 N 时,注意力分数矩阵包含 N² 个元素,内存需求随序列长度呈二次增长。

FlashAttention 通过 tiling 将计算拆解为逐块进行,每个时刻 SRAM 中只需保存常数数量的块(Query 块、当前 Key/Value 块、累积输出等),这些块的总大小与序列长度呈线性关系。完整的 N×N 矩阵自始至终未被构造。原始论文报告,在序列长度为 2K 时内存节省约 10 倍,在 4K 时约 20 倍,且这种节省比例随序列长度增加而持续扩大。正因如此,FlashAttention 能够将可处理的序列长度扩展到远超标准注意力所能承受的范围——标准注意力在 A100 上约在 4K 序列长度时耗尽显存,而 FlashAttention 可扩展至 64K 甚至更长。

相关文章
GitHub Copilot 协作:算法复杂度从 O(n²) 降到 O(log n) 的优化实录
人们眼中的天才之所以卓越非凡,并非天资超人一等而是付出了持续不断的努力。1万小时的锤炼是任何人从平凡变成超凡的必要条件。———— 马尔科姆·格拉德威尔
Xxtaoaooo
2025-09-27
6300
算法分析:从O(n³)到O(n)的优化之道
总结 前面我们系统地介绍了算法分析的基本方法论:从建立理想化的计算模型出发,确立了分析最坏情况时间复杂度的目标,并给出了计算循环、顺序结构和递归结构时间复杂度的具体法则。通过具体的代码示例(求和、阶乘、斐波那契),展示了如何将这些法则应用到实际编程中,从而量化算法的性能。
北极的代码
2026-04-22
3750
从O(n²)到O(n log n):深度剖析快速排序的内存优化与cache-friendly实现
🌟 Hello,我是摘星!🌈 在彩虹般绚烂的技术栈中,我是那个永不停歇的色彩收集者。🦋 每一个优化都是我培育的花朵,每一个特性都是我放飞的蝴蝶。🔬 每一次代码审查都是我的显微镜观察,每一次重构都是我的化学实验。🎵 在编程的交响乐中,我既是指挥家也是演奏者。让我们一起,在技术的音乐厅里,奏响属于程序员的华美乐章。
摘星.
2025-08-01
5260
Java 循环代码优化实战:从 O (n²) 到 O (n) 的性能跃迁全解析
在日常 Java 业务开发中,循环结构是我们使用频率最高的代码结构之一,小到列表遍历过滤,大到批量数据处理,几乎所有业务场景都离不开循环。但很多开发者往往只关注循环的业务逻辑实现,却忽略了循环代码的性能优化,最终导致一个简单的列表处理接口,在数据量上万时就出现响应超时、CPU 占用飙升的问题。据腾讯云开发者社区 2025 年开发者性能问题调研数据显示,超过 62% 的 Java 业务接口性能瓶颈,都来自于不合理的循环代码编写。本文就从实际业务场景出发,拆解 Java 循环代码优化的核心逻辑,通过可落地的实战案例,带你实现循环代码从 O (n²) 到 O (n) 的性能跃迁,所有案例均经过生产环境验证,可直接复现使用。
用户7216239
2026-04-15
3360
数据结构排序系列指南:从O(n²)到O(n),计数排序如何实现线性时间复杂度
  计数排序是一种非比较排序算法。顾名思义,它的核心思想不是通过比较元素的大小来确定顺序,而是通过计数的方式来实现排序。   计数排序别名又叫“鸽巢原理”,其本质体现是:如果鸽子的数量比鸽巢多,那么至少有一个鸽巢里面不止一个鸽子。那么就引出排序原理:将数组本身作为数组的索引,通过统计每个整数出现的次数,来直接确定每个整数在排序后的数组中的正确位置。
雾忱星
2025-12-23
4670
点击加载更多
词条知识树 23个知识点
更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券