首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >FlashAttention >FlashAttention 的 online softmax(在线软最大化)算法有什么作用?

FlashAttention 的 online softmax(在线软最大化)算法有什么作用?

词条归属:FlashAttention

Online softmax 是 FlashAttention 能够分块计算精确 softmax 的数学基础。标准 softmax 需要两趟扫描:第一趟找到整行的最大值以保证数值稳定性,第二趟计算指数并归一化。这种两趟扫描要求一次性看到整行数据,与 tiling 的分块处理方式天然矛盾。

Online softmax 通过维护"运行最大值"和"运行指数和"两个统计量,实现了单趟流式计算。处理第一个块时,计算该块的局部最大值 m₁ 和局部指数和 l₁;处理第二个块时,更新全局最大值 m=max(m₁,m₂),并据此对之前的部分结果进行重缩放(rescale),同时累加新块的指数值;如此逐块推进,直到处理完全部块。最终的输出结果与一次性计算完整 softmax 在数学上完全等价,只是计算顺序不同。这一技巧使得 FlashAttention 无需在内存中构造完整的 N×N 注意力矩阵,就能得到精确的注意力输出,是整个算法能够成立的核心数学工具。

相关文章
从零开始用自定义 Triton 内核编写 FlashAttention-2
本文实现 FlashAttention-2 的前向传播,具体包括:为 Q、K、V 设计分块策略;流式处理 K 和 V 块而非物化完整注意力矩阵;实现在线 softmax 算法保证数值稳定性;支持因果和非因果两种注意力模式;用 Triton autotuner 自动调优内核配置;最后用 PyTorch 验证正确性。
deephub
2026-02-27
7850
从Online Softmax 到 FlashAttention
本文通过梳理online softmax公式的推导过程,逐步的理清 FlashAttention的优化思路,以及结合分块策略是怎样进行高效实现的。主要内容为:
AI老马
2026-01-13
1.1K0
FlashAttention:快速且内存高效的准确注意力机制
在深度学习领域,注意力机制是提高模型性能的关键组件。然而,传统的注意力机制在长序列处理时会消耗大量内存和计算资源。为了解决这个问题,Tri Dao等人提出了FlashAttention,这是一种快速且内存高效的注意力机制。本文将介绍FlashAttention及其改进版FlashAttention-2的核心概念、安装方法和使用示例。
857技术社区
2024-07-04
4.4K0
FlashAttention算法详解
这篇文章的目的是详细的解释Flash Attention,为什么要解释FlashAttention呢?因为FlashAttention 是一种重新排序注意力计算的算法,它无需任何近似即可加速注意力计算并减少内存占用。所以作为目前LLM的模型加速它是一个非常好的解决方案,本文介绍经典的V1版本,最新的V2做了其他优化我们这里暂时不介绍。因为V1版的FlashAttention号称可以提速5-10倍,所以我们来研究一下它到底是怎么实现的。
deephub
2023-08-30
2.1K0
【BBuf的CUDA笔记】十四,OpenAI Triton入门笔记三 FusedAttention
继续Triton的学习,这次来到 https://triton-lang.org/main/getting-started/tutorials/06-fused-attention.html 教程。也就是如何使用Triton来实现FlashAttention V2。对于FlashAttention和FlashAttention V2网上已经有非常多的介绍了,大家如果感兴趣的话我推荐FlashAttention V1看 《图解大模型计算加速系列:FlashAttention V1,从硬件到计算逻辑》https://zhuanlan.zhihu.com/p/669926191 这篇文章的讲解 以及 FlashAttention V2 看 《图解大模型计算加速系列:Flash Attention V2,从原理到并行计算》 https://mp.weixin.qq.com/s/5K6yNj23NmNLcAQofHcT4Q ,原理和公式推导都非常清晰,不过想一口气读完还是要花一些精力的。同时你也可以在 https://github.com/BBuf/how-to-optim-algorithm-in-cuda 找到更多相关资料(此外Meagtron-LM,DeepSpeed等训练Infra框架的迅速跟进也说明了FlashAttention这个系列工作影响之大),例如:
BBuf
2024-02-29
3.5K0
点击加载更多
词条知识树 23个知识点
更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券