首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >FlashAttention >FlashAttention 的重计算(recomputation)机制是如何权衡计算与内存的?

FlashAttention 的重计算(recomputation)机制是如何权衡计算与内存的?

词条归属:FlashAttention

重计算是 FlashAttention 在反向传播阶段采用的一种"以计算换内存"的策略。在标准训练流程中,前向传播计算出的注意力矩阵会被保存下来,供反向传播计算梯度时使用。然而,这个 N×N 矩阵正是内存开销的主要来源。

FlashAttention 采取了截然不同的做法:前向传播完成后,直接丢弃中间的注意力矩阵,只保留输出 O 和用于归一化的 logsumexp 统计量 L。反向传播时,不再从内存中读取注意力矩阵,而是利用保存的 Q、K、V 和 L,按 tiling 方式在 SRAM 中重新计算所需的注意力值。从 FLOP 计数上看,这确实增加了计算量(注意力计算被执行了两次),但由于 GPU 的计算单元在标准注意力实现中本就大量处于空闲等待内存的状态,用额外的计算换取内存访问的大幅减少,在 wall-clock 时间上仍然是净收益。这种"多做计算、少搬数据"的权衡,是 FlashAttention 在训练场景中取得加速的重要设计选择。

词条知识树 23个知识点
更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券