首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >FlashAttention >FlashAttention 与稀疏注意力(Sparse Attention)有什么区别?

FlashAttention 与稀疏注意力(Sparse Attention)有什么区别?

词条归属:FlashAttention

FlashAttention 与稀疏注意力的根本区别在于对注意力矩阵的处理方式:FlashAttention 计算完整的精确注意力(所有 token 对之间的注意力均被计算,仅受因果掩码约束),而稀疏注意力通过预定义的稀疏模式(如滑动窗口、局部注意力、全局 token、随机连接等)只计算注意力矩阵中的一部分元素,从而将计算复杂度从 O(N²) 降至 O(N·k)(k 为每个 token 的连接数)或更低。

在精确性上,FlashAttention 的输出与标准注意力完全一致,而稀疏注意力是一种近似方法——它假设远距离 token 之间的注意力权重可以忽略,这在某些任务中成立,但在需要全局依赖的任务中可能损失质量。在历史脉络上,稀疏注意力方法(如 Longformer、BigBird、Reformer)多在 2020 年前后提出,是 FlashAttention 之前解决长序列问题的主要思路,但由于近似带来的质量不确定性与实现复杂度,大规模训练中并未被广泛采用。FlashAttention 的出现改变了这一格局——它以精确计算的方式解决了长序列的内存瓶颈,使得稀疏近似在多数场景下不再必要。不过,在超长序列(如百万 token 级别)场景下,即使内存不再是瓶颈,O(N²) 的计算量仍可能成为制约,此时稀疏注意力或其与 FlashAttention 的混合方案仍有其价值。

相关文章
MInference:通过动态稀疏Attention加速长文本推理
由于注意力机制的二次复杂度,举例来说(如图1 a 所示),在单台装有 A100 的机器上为 LLaMA-3-8B 提供服务时,如果提示有 30 万个 token,模型需要 6 分钟才能完成预填充( pre-filling)阶段,如果提示增加到 100 万个 token,这个数字将增加到 30 分钟。自注意力计算的开销占到了总预填充延迟的 90% 以上,这使其成为 LLM 处理长上下文时的主要瓶颈。
aaronwjzhao
2024-07-11
2.3K1
Sparse FlashAttention 算子架构分析与调优技巧
大规模Transformer模型的注意力机制在长序列情况下面临严重的计算和内存瓶颈:传统自注意力需执行级别的矩阵运算,并存储同规模的中间结果,频繁读写高带宽内存(HBM)造成IO开销巨大。FlashAttention的出现旨在从算法和系统层面解决这一瓶颈。
fanstuck
2026-01-13
1.3K0
Skip Softmax技术在TensorRT-LLM中加速长上下文推理
对于大规模部署LLM的机器学习工程师而言,随着上下文长度的增加,注意力计算的成本呈爆炸式增长,这是一个常见且严峻的挑战。无论是在检索增强生成(RAG)管道、智能体AI工作流还是生成长篇内容,注意力机制的复杂度始终是主要瓶颈。
用户11764306
2026-02-01
5300
用Skip Softmax在TensorRT-LLM中加速长上下文推理
对于大规模部署大语言模型的机器学习工程师而言,随着上下文长度增加,注意力计算成本呈爆炸式增长,这是一个熟悉且严酷的现实。无论是处理检索增强生成(RAG)管道、智能体AI工作流,还是生成长篇内容,注意力的计算复杂度始终是主要瓶颈。
用户11764306
2025-12-31
5820
高效Attention引擎是怎样炼成的?陈天奇团队FlashInfer打响新年第一枪!
作者团队来自华盛顿大学、英伟达、Perplexity AI和CMU,曾开发了TVM、XGBoost,同时也是MXNET作者之一的陈天奇,也位列其中。
新智元
2025-02-15
1.6K0
点击加载更多
词条知识树 23个知识点
更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券