首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >FlashAttention >FlashAttention 与 PagedAttention 有什么区别?

FlashAttention 与 PagedAttention 有什么区别?

词条归属:FlashAttention

FlashAttention 与 PagedAttention 是解决大模型推理中不同瓶颈的两项互补技术,它们不构成竞争关系,而是在实际系统中协同工作。

1. 优化对象与作用阶段

FlashAttention 优化的是注意力计算本身的内存访问效率——它通过 tiling 避免在 HBM 中构造完整的注意力矩阵,加速 prefill 阶段(对完整提示词的处理)的注意力计算。PagedAttention 由 vLLM 团队于 2023 年提出,解决的是 KV Cache 的内存管理问题——它借鉴操作系统的虚拟内存分页机制,将 KV Cache 划分为固定大小的块(block)进行非连续存储,从而消除内存碎片、支持跨请求的 KV Cache 共享,显著提高显存利用率与并发能力。两者的核心区别可从三个维度概括:在优化对象上,FlashAttention 针对注意力计算的数据搬运,PagedAttention 针对 KV Cache 的存储分配;在作用阶段上,FlashAttention 主要加速 prefill,PagedAttention 主要优化 decode 阶段的 KV Cache 管理;在技术性质上,FlashAttention 是算法层面的计算重组(不改变注意力数学定义),PagedAttention 是系统层面的内存管理创新(不改变注意力计算本身)。

2. 实际系统中的协同部署

在实际部署中,主流推理引擎(如 vLLM、SGLang)同时使用两项技术:FlashAttention 负责 prefill 阶段的注意力计算加速,PagedAttention 负责 decode 阶段的 KV Cache 高效管理,两者共同覆盖推理全流程的性能需求。对于短提示词的逐 token 生成,推理瓶颈主要在于读取模型权重与 KV Cache,此时 FlashAttention 的收益有限,PagedAttention 的作用更为关键。对于长提示词的 prefill 阶段,FlashAttention 的加速效果显著,而 PagedAttention 在此阶段的作用相对次要。两者的协同使推理系统能够在不同工作负载下均保持高效运行。

相关文章
FlashAttention、PagedAttention两代注意力算法,改写大模型推理生态详解18.6
大模型能够实现流畅对话、长文本理解、多轮交互应答,核心底层完全依靠自注意力机制。但早期原生Transformer注意力,天生带着算力与显存双重致命缺陷,序列长度一旦上涨,算力开销呈平方级暴涨,不仅推理速度极慢、显存占用失控,高并发多轮对话极易卡顿溢出,根本无法规模化商用落地。
未闻花名
2026-08-06
5130
API 与 SDK:有什么区别?
既然点进来了,相信你或多或少都听说过这两个名词了,因此,在为你解答之前,让我们先从一个例子出发。假如你想开发一个 OCR 应用(通俗的说就是文字识别应用),他的功能是识别用户上传的一张图片,然后将图片中的文字识别出来返回给用户。如下图所示:
出其东门
2020-12-31
3K0
MyBatis与Hibernate有什么区别?
MyBatis与Hibernate的一个主要区别在于它们实现 ORM 的方式不同。
GeekLiHua
2025-01-21
5330
scdn与cdn有什么区别?
你们有没有发现我们在购买cdn的时候一些大厂分为scdn和cdn两种,那么scdn与cdn有什么区别?一起来看一看吧。
文曦
2022-06-24
3.7K0
Proxy与NAT有什么区别
在internet共享上网技术上,一般有两种方式,一种是proxy代理型,一种是NAT网关型,关于两网络
Java架构师必看
2021-03-22
2K0
点击加载更多
词条知识树 23个知识点
更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券