首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >FlashAttention >FlashAttention 在主流深度学习框架中是如何集成的?

FlashAttention 在主流深度学习框架中是如何集成的?

词条归属:FlashAttention

FlashAttention 已被集成到几乎所有主流深度学习框架与推理引擎中,成为事实上的默认注意力实现。用户在大多数场景下无需手动配置即可享受 FlashAttention 的加速效果。

1. PyTorch 中的集成

在 PyTorch 中,自 2.0 版本起,torch.nn.functional.scaled_dot_product_attention 会在兼容硬件上自动选择 FlashAttention-2 内核;自 2.11.0 版本(2026 年 3 月)起,PyTorch 进一步引入了可插拔的 FlashAttention 注册机制,内置 FA3 与 FA4 条目,支持用户按需激活不同版本。Hugging Face Transformers 库允许用户通过 attn_implementation 参数指定使用 flash_attention_2 或 sdpa 后端。在训练框架层面,DeepSpeed、Megatron-LM 等分布式训练框架也已集成 FlashAttention。这种广泛的框架集成,是 FlashAttention 从学术论文迅速转化为行业基础设施的关键推动力。

2. 推理引擎中的集成

在推理框架层面,vLLM 维护着自己的 vllm_flash_attn 分支,并按 GPU 架构自动选择版本;SGLang 同样默认使用 FlashAttention。llama.cpp 在 CPU、Metal、CUDA、ROCm 与 Vulkan 后端上均提供了 FlashAttention 支持;Ollama 通过环境变量 OLLAMA_FLASH_ATTENTION=1 启用。这些推理引擎的默认集成意味着用户在部署大模型推理服务时,通常无需额外配置即可享受 FlashAttention 的加速效果,大幅降低了技术采用门槛。

相关文章
主流的深度学习开源框架
TensorFlow最初由谷歌的Machine Intelligence research organization 中Google Brain Team的研究人员和工程师开发的。这个框架旨在方便研究人员对机器学习的研究,并简化从研究模型到实际生产的迁移的过程。
用户6021899
2019-11-05
1.3K0
深度学习框架OneFlow是如何和ONNX交互的?
在开始阅读本篇文章之前,如果你对ONNX不是很了解介意先阅读我之前写的这几篇介绍ONNX文章:
BBuf
2021-04-16
1.7K0
{Submarine} 在 Apache Hadoop 中运行深度学习框架
作者:Wangda Tan、Sunil Govindan、Zhankun Tang
大数据文摘
2019-01-23
2.5K0
TensorFlow 是如何解读深度学习中的“嵌入”
一个单词集合,这些属于离散的非数值型对象,数值计算的基本要求是数值型,所以需要将他们映射为实数向量。
double
2018-07-25
9830
【深度研究】Stacking 集成学习在多因子选股中的应用
今天我们来继续我们机器学习应用量化投资系列,本期,我们介绍一篇来自华泰证券金工的研究报告。将深入为你剖析Stacking 集成学习在量化投资中的应用!希望大家有所收获! Stacking 集成学习模型简介 Stacking 集成学习的原理 Stacking 是一种常见的集成学习框架。一般来说,Stacking 将训练一个多层(一般是两层, 本文中默认两层)的模型结构,第一层(也叫学习层)包含 n 个不同的模型,将得到的预 测结果合并为新的特征集,并作为下一层模型的输入,由下一层模型再次根据对应的数据 标签进
量化投资与机器学习微信公众号
2018-05-28
3K0
点击加载更多
词条知识树 23个知识点
更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券