首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >FlashAttention >FlashAttention 的核心思想 tiling(分块)是如何实现的?

FlashAttention 的核心思想 tiling(分块)是如何实现的?

词条归属:FlashAttention

Tiling 是 FlashAttention 实现内存高效计算的基础手段,其本质是将无法整体装入 SRAM 的大矩阵,切分成若干能装进 SRAM 的小块,逐块处理。在注意力计算中,FlashAttention 将 Query 矩阵按行切分为大小为 B_r×d 的块,将 Key 和 Value 矩阵按行切分为大小为 B_c×d 的块(其中 B_r、B_c 为块大小,d 为头维度,典型取值为 64~128)。

计算过程中,FlashAttention 对每个 Query 块只做一次加载,然后遍历所有对应的 Key 和 Value 块,逐块计算部分注意力结果,并通过 online softmax 将这些部分结果累积起来。每个 tile 在 SRAM 中完成从分数计算、softmax 到与 Value 相乘的全部操作,中间结果无需写回 HBM。这种分块策略不仅适用于前向传播,也被 FlashAttention 的反向传播所采用——反向传播同样以分块方式重新计算注意力矩阵,从而避免存储完整的前向中间结果。Tiling 与 online softmax 的结合,是 FlashAttention 能够在有限 SRAM 中完成精确注意力计算的关键所在。

相关文章
破解LLM性能瓶颈:你必须了解的两项注意力优化技术​
在大语言模型(LLM)的推理过程中,Attention机制是计算和内存消耗的主要瓶颈。FlashAttention和PagedAttention作为两项革命性优化技术,分别从计算效率和内存管理两个维度显著提升了LLM的推理性能。今天我将深度解析这两种注意力加速技术及其优化策略,希望对你有所帮助,如有遗漏,欢迎交流。
AI课代表
2025-09-18
1.6K0
内存优化黑科技|Flash attention 为什么那么快?
大模型训练和推理大多是内存访问密集型,尤其推理时动辄几K长度的输入,内存大小,读写频次成为难以逾越的性能瓶颈。如何突破内存墙限制?本文围绕FlashAttention通过分块计算和动态重计算技术,对注意力机制进行优化,在保证准确性的同时,如何大幅优化注意力机制的内存效率和计算速度。主要包括:
AI老马
2026-01-13
1.2K0
Jstorm事务,实现Storm事务思想Storm 事务的核心设计思想:
https://github.com/alibaba/jstorm/wiki/%E4%BA%8B%E5%8A%A1 storm的事务主要用于对数据准确性要求非常高的环境中,尤其是在计算交易金额或笔数,数据库同步的场景中。 storm 事务逻辑是挺复杂的,而且坦白讲,代码写的挺烂的。 JStorm下一步将重新设计基于Meta 1 和Meta3 的事务模型,让使用者更简便,代码更清晰。 源码可以参考 jstorm-example Storm 事务的核心设计思想: Transaction 还是基于基本的属性之上
Albert陈凯
2018-04-04
1.3K0
大语言模型推理性能优化:从理论到落地实践
大语言模型(LLM)在对话、代码生成等任务上展现了惊人能力,但其推理阶段的高延迟与显存占用正成为规模化部署的拦路虎。以LLaMA-70B为例,单次生成需约140GB显存(BF16),即使A100 80GB也需要双卡,且token生成速率常低于20 tokens/s。若不加优化,每百万次对话的GPU成本将高达数千美元。本文聚焦于KV Cache管理、注意力机制加速(FlashAttention)、连续批处理(Continuous Batching)以及量化(GPTQ/AWQ),并通过vLLM框架演示如何将推理吞吐提升5~10倍,为生产级LLM服务提供可落地的方案。
用户12687280
2026-08-27
5220
【AI系统】计算图的优化策略
除了前面提到的算子替换和算子前移等内容,本文内容将深入探讨计算图的优化策略,我们将细致分析图优化的其他重要内容,如改变数据节点的数据类型或存储格式来提升模型性能,以及优化数据的存储和访问方式以降低内存占用和数据访问时间。以上内容的理解和掌握,对于高效利用计算资源,提升算法性能具有至关重要的作用。
用户11307734
2024-12-06
9550
点击加载更多
词条知识树 23个知识点
更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券