首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >注意力机制的性能侧:FlashAttention、GQA 与线性注意力

注意力机制的性能侧:FlashAttention、GQA 与线性注意力

作者头像
汤姆百宝箱
发布于 2026-10-20 23:59:42
发布于 2026-10-20 23:59:42
2270
举报
概述
上一节我们把注意力当成了纯数学对象:QK⊤QK^\topQK⊤一次矩阵乘法而已。但在真实推理集群里,这个操作的显存墙和带宽墙才是决定"你的 API 为什么这么贵、上下文为什么只有这么长"的物理定律。本文把这三堵墙逐一拆掉,再看业界给出的每一种拆法。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档