通用技术-人工智能
FlashAttention
FlashAttention 是一种具有 IO 感知(IO-awareness)的精确注意力算法,由 Tri Dao、Daniel Y. Fu、Stefano Ermon、Atri Rudra 与 Christopher Ré 于 2022 年在斯坦福大学期间提出,论文发表于 NeurIPS 2022。它通过 tiling(分块)与 online softmax(在线软最大化)等技术,将注意力计算的内存占用从序列长度的二次方 O(N²) 降低到线性 O(N),在不做任何近似的前提下,使运行速度较标准注意力实现提升 2~4 倍、内存占用减少 5~20 倍。与稀疏注意力、线性注意力等近似方法不同,FlashAttention 的输出与标准注意力在数学上完全一致,因此可作为即插即用的底层实现,现已成为 PyTorch、vLLM 等主流框架的默认注意力内核。