汤姆百宝箱
注意力机制的性能侧:FlashAttention、GQA 与线性注意力
原创
关注作者
腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
汤姆百宝箱
社区首页
>
专栏
>
注意力机制的性能侧:FlashAttention、GQA 与线性注意力
注意力机制的性能侧:FlashAttention、GQA 与线性注意力
汤姆百宝箱
关注
发布于 2026-10-20 23:59:42
发布于 2026-10-20 23:59:42
227
0
举报
概述
上一节我们把注意力当成了纯数学对象:QK⊤QK^\topQK⊤一次矩阵乘法而已。但在真实推理集群里,这个操作的显存墙和带宽墙才是决定"你的 API 为什么这么贵、上下文为什么只有这么长"的物理定律。本文把这三堵墙逐一拆掉,再看业界给出的每一种拆法。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系
cloudcommunity@tencent.com
删除。
人工智能
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档