FlashAttention 与 PagedAttention 是解决大模型推理中不同瓶颈的两项互补技术,它们不构成竞争关系,而是在实际系统中协同工作。
FlashAttention 优化的是注意力计算本身的内存访问效率——它通过 tiling 避免在 HBM 中构造完整的注意力矩阵,加速 prefill 阶段(对完整提示词的处理)的注意力计算。PagedAttention 由 vLLM 团队于 2023 年提出,解决的是 KV Cache 的内存管理问题——它借鉴操作系统的虚拟内存分页机制,将 KV Cache 划分为固定大小的块(block)进行非连续存储,从而消除内存碎片、支持跨请求的 KV Cache 共享,显著提高显存利用率与并发能力。两者的核心区别可从三个维度概括:在优化对象上,FlashAttention 针对注意力计算的数据搬运,PagedAttention 针对 KV Cache 的存储分配;在作用阶段上,FlashAttention 主要加速 prefill,PagedAttention 主要优化 decode 阶段的 KV Cache 管理;在技术性质上,FlashAttention 是算法层面的计算重组(不改变注意力数学定义),PagedAttention 是系统层面的内存管理创新(不改变注意力计算本身)。
在实际部署中,主流推理引擎(如 vLLM、SGLang)同时使用两项技术:FlashAttention 负责 prefill 阶段的注意力计算加速,PagedAttention 负责 decode 阶段的 KV Cache 高效管理,两者共同覆盖推理全流程的性能需求。对于短提示词的逐 token 生成,推理瓶颈主要在于读取模型权重与 KV Cache,此时 FlashAttention 的收益有限,PagedAttention 的作用更为关键。对于长提示词的 prefill 阶段,FlashAttention 的加速效果显著,而 PagedAttention 在此阶段的作用相对次要。两者的协同使推理系统能够在不同工作负载下均保持高效运行。