Transformer之后，谁主沉浮？一文梳理大模型高效架构的演进脉络

今天，我们要深入探讨一个当前AI领域最核心、最热门的话题：大语言模型（LLM）的效率。

自从Transformer架构在2017年横空出世以来，我们见证了LLM以前所未有的速度发展，其能力在语言理解、内容生成、逻辑推理等方面都达到了惊人的高度。然而，在这光鲜亮丽的背后，一个巨大的阴影始终挥之不去——高昂的计算成本。传统的Transformer模型，尤其是其核心的自注意力（Self-Attention）机制，存在一个致命的“原罪”：其计算复杂度和内存占用随输入序列长度的增加呈平方级增长（）。

这意味着什么？当我们需要处理一篇长文档、一段代码、或者进行多轮对话时，模型的计算成本会急剧攀升，不仅使得训练成本高到令人望而却步，也让实际部署和推理变得异常困难。我们正处在一个“智能”越来越昂贵的时代。

为了打破这道“效率之墙”，全球的研究者们付出了巨大的努力。今天，我们将以一篇名为 《Speed Always Wins: A Survey on Efficient Architectures for Large Language Models》 的重磅综述为蓝本，系统地梳理一下，AI社区为了让大模型“跑得更快、吃得更少”，都开辟了哪些激动人心的技术路径。

这篇综述为我们绘制了一幅现代高效LLM架构的全景图，它告诉我们，通往高效智能的道路并非只有一条。

为何“效率”成为大模型的生死线？

在深入技术细节之前，我们必须先理解为什么效率问题如此重要。

LLM的强大能力源于其巨大的规模和在海量数据上的训练。但这种“大力出奇迹”的模式也带来了几个核心挑战：

1. 训练成本：训练一个千亿参数级别的模型，动辄需要数千块顶级GPU连续运行数月，其能源消耗和资金投入是天文数字。

2. 推理延迟：在实际应用中，用户无法忍受一个聊天机器人需要几十秒才能生成一句回答。的复杂度在长文本输入时会导致极高的延迟。

3. 内存瓶颈：在推理过程中，模型需要缓存之前所有Token的键（Key）和值（Value），即所谓的KV Cache。随着输入序列变长，KV Cache会迅速耗尽GPU显存，极大地限制了模型能处理的上下文长度。

4. 部署门槛：高昂的硬件需求使得最先进的模型难以在普通设备甚至边缘设备上部署，限制了技术的普及。

因此，对模型架构进行效率优化，已经不再是“锦上添花”，而是决定LLM技术能否持续发展并广泛应用的“生死线”。这篇综述正是对这一领域的系统性总结，它将近年来的创新方法分门别类，让我们得以清晰地看到研究的全貌。

效率革命的七大战场

这篇综述将高效LLM架构的探索划分为七个主要的“战场”，每个战场都代表了一类解决思路。这构成了我们理解整个领域的核心框架。

1. 线性序列建模 (Linear Sequence Modeling)：这是最彻底的革命派。它们的目标是将注意力机制的复杂度从二次方直接降维到线性，从根本上解决扩展性问题。

2. 稀疏序列建模 (Sparse Sequence Modeling)：这是“抓重点”的实用派。它们认为并非每个词都需要关注全局，因此通过让每个Token只关注一部分最重要的其他Token来减少计算量。

3. 高效全注意力 (Efficient Full Attention)：这是“精装修”的改良派。它们保留了原始注意力机制的数学形式，但通过底层的计算优化（尤其是在硬件层面），使其运行得更快。

4. 稀疏专家混合 (Sparse Mixture-of-Experts, MoE)：这是“人多力量大”的组织派。它通过构建一个拥有海量参数但每次只激活一小部分的模型，实现了在计算成本基本不变的情况下，大幅提升模型容量。

5. 混合架构 (Hybrid Architectures)：这是“集大成”的融合派。它们博采众长，将上述多种技术（如线性和全注意力）结合起来，试图在效率和性能之间找到最佳平衡点。

6. 扩散大模型 (Diffusion LLMs)：这是“另辟蹊径”的颠覆派。它们抛弃了传统LLM逐字生成的自回归（Autoregressive）模式，采用一种并行生成的方式，极大地提升了推理速度。

7. 跨模态应用 (Applications to Other Modalities)：这是技术拓展的先锋队。它们将这些高效架构的思想成功地应用到视觉、音频等其他领域，展示了其普适性。

接下来，我们将逐一解析这七大战场中的核心技术和代表性思想。

深入理解效率背后的技术原理

战场一：线性序列建模 - 打破二次方诅咒

这是对抗复杂度的最前沿阵地。其核心思想源于一个巧妙的数学变换。

传统自注意力的计算可以简化为：

问题就出在 这一步，它计算了一个 的注意力矩阵，其中 是序列长度。

而线性序列建模的共同始祖——线性注意力（Linear Attention） 发现，如果能将softmax操作替换成一个可以被“核函数” 分解的相似度函数，即 ，那么计算就可以利用矩阵乘法的结合律进行重排：

括号里的 是一个的小矩阵（是特征维度），与序列长度无关。整个计算的复杂度就从降到了。当 时，这就是一个巨大的飞跃。

在这个统一思想的指引下，衍生出了几个重要的分支：

• • 线性RNN (Linear RNNs)：这类模型在形式上看起来像循环神经网络（RNN），但它去除了传统RNN中的非线性激活函数，使其可以转化为并行计算形式进行高效训练，同时在推理时又保持了RNN的线性复杂度。RWKV 模型是其中的杰出代表，它通过巧妙的设计，在保持RNN架构高效推理的同时，获得了媲美Transformer的性能。
• • 状态空间模型 (State Space Models, SSMs)：这是当前最炙手可热的方向。SSM源于控制理论，其核心思想是将输入序列看作一个信号，通过一个“状态”变量 来捕捉历史信息，并根据当前输入 来更新状态并产生输出。 早期的SSM（如S4）已经展现了强大的长序列建模能力。而真正的引爆点是 Mamba 模型的出现。Mamba的核心创新在于 选择性（Selection），它让状态转移矩阵 依赖于当前的输入，使得模型可以动态地决定是“记住”还是“遗忘”某些信息。这种选择性机制赋予了模型强大的上下文感知能力，使其在性能上足以与顶级Transformer模型抗衡，同时保持了线性的计算复杂度。

小结：线性序列建模是最高效、也是最具革命性的路径。它们正在从根本上重塑序列建模的范式，而Mamba的成功标志着这条路径已经从理论探索走向了实际应用的前沿。

战场二：稀疏序列建模 - 精打细算，抓住重点

这条路径的思想非常直观：全局注意力是昂贵的，而且可能也是不必要的。我们只需要关注最重要的信息即可。

• • 静态稀疏注意力 (Static Sparse Attention)：这种方法在训练前就预设好固定的注意力模式。
  • • 滑动窗口注意力（Sliding Window）：每个Token只关注其邻近的几个Token。这很适合处理局部依赖性强的任务。
  • • 全局注意力（Global Attention）：指定少数几个“特殊”的Token（如[CLS]）可以关注全局，而其他Token则使用局部注意力。
  • • 组合模式：像 Longformer 和 BigBird 这样的模型，巧妙地结合了滑动窗口、扩张滑动窗口（Dilated）和全局注意力，确保任何两个Token之间都有一条较短的信息通路，从而在保持线性复杂度的同时，近似了全注意力的建模能力。
  • • 类比：这就像一个社交网络，你主要和你身边的人交流（滑动窗口），但同时也会关注几个“意见领袖”的动态（全局Token）。

• • 动态稀疏注意力 (Dynamic Sparse Attention)：这比静态模式更智能，注意力模式是根据输入内容动态生成的。例如，通过聚类将相似的Token分到一组，只在组内进行注意力计算。
• • 训练无关的稀疏化 (Training-free Sparse Attention)：这类方法专注于加速推理过程，无需重新训练。一个非常有趣的发现是 StreamingLLM 提出的“注意力沉降”（Attention Sink）现象。研究发现，即使在非常长的序列中，模型也会不自觉地给予最开始的几个Token很高的注意力权重。因此，我们只需要在KV Cache中保留这几个“沉降”Token和最近的一个滑动窗口，就可以在几乎不损失性能的情况下，实现对无限长序列的推理。

小结：稀疏化是一种非常实用且有效的“节流”策略。它通过牺牲理论上的全局连接性，换取了计算效率的大幅提升，在长文本处理领域取得了巨大的成功。

战场三：高效全注意力 - 压榨硬件的每一滴性能

这类方法可以说是“戴着镣铐跳舞”的典范。它们不改变注意力的数学本质，而是从底层计算和内存访问的角度进行极致优化。

最杰出的代表就是 FlashAttention。

理解FlashAttention的关键在于理解现代GPU的存储层次结构：速度极快但容量很小的SRAM（片上内存）和速度较慢但容量巨大的HBM（高带宽内存）。标准注意力实现的问题在于，它需要反复地从HBM中读写那个巨大的 注意力矩阵，这个过程占据了大量的时间。

FlashAttention的优化思路可以类比为一位高效的厨师：

• • 标准厨师：每切一种菜（计算一个中间结果），就把它放回遥远的冰箱（HBM），需要时再取出来。
• • FlashAttention厨师：一次性把做一道菜需要的所有食材（数据块）都拿到手边的操作台（SRAM）上，在操作台上完成所有的切、炒、调味（Tiling & Fused Kernels），直到做出最终的成品，才放回冰箱。

通过这种 IO感知（IO-aware） 的设计，FlashAttention将内存访问量从 降低到了 ，从而在不进行任何近似的情况下，实现了2-4倍的加速，并大幅降低了显存占用。

此外，分组查询注意力（Grouped-Query Attention, GQA） 也是一种重要的优化。在多头注意力中，原本每个“查询头”（Query Head）都配有一对“键值头”（Key/Value Heads）。GQA则让一组查询头共享同一对键值头，这大幅减少了推理时KV Cache的大小，从而在性能损失很小的情况下，显著提升了吞吐量。

小结：高效全注意力，特别是FlashAttention，已经成为当前训练和部署SOTA LLM的标配。它证明了通过软硬件协同设计，可以在不牺牲模型表达能力的前提下，挖掘出巨大的效率潜力。

战场四：稀疏专家混合 (MoE) - 模型的“分工合作”

MoE是一种与上述方法正交的、用于扩展模型规模的强大技术。其核心理念是：用更多的参数武装模型，但每次只让一小部分参数参与计算。

一个MoE层由两部分组成：

1. 多个专家 (Experts)：每个专家通常是一个独立的前馈网络（FFN）。

2. 门控网络 (Gating Network) 或 路由器 (Router)：负责为每个输入的Token决定应该由哪些专家来处理。

工作流程：当一个Token序列进入MoE层时，路由器会为每个Token计算一个概率分布，然后选择得分最高的Top-k个（通常k=2）专家。接着，这个Token只会被发送给这k个被选中的专家进行处理，最终的输出是这k个专家输出的加权和。

类比：想象一个巨型咨询公司，拥有数千名不同领域的专家（法律、金融、技术……）。当客户带着一个问题进来时，前台（路由器）会迅速判断这个问题属于哪个领域，然后只把客户引荐给最相关的两位专家。这样，公司虽然规模庞大，但解决每个具体问题的成本却很低。

挑战与解决：MoE的一个核心挑战是 负载均衡（Load Balancing）。如果路由器有偏好，总是把任务交给某几个“明星专家”，会导致其他专家得不到训练，同时“明星专家”会成为性能瓶颈。为了解决这个问题，通常会引入一个辅助损失函数，来惩罚不均衡的路由决策，鼓励任务被均匀地分配给所有专家。

代表模型：Mixtral 8x7B 是MoE架构的典范之作，它用8个专家，每次激活2个，以大约14B的激活参数量，达到了媲美70B级别密集模型的性能。

小结：MoE是通往万亿参数模型的最有效路径。它解耦了模型的总参数量和单次前向传播的计算量，让模型的“知识容量”可以扩展到前所未有的规模。

战场五：混合架构 - 强强联合，取长补短

既然每种方法都有其优缺点，那么将它们结合起来，发挥各自的长处，就成了一个自然而然的选择。

• • 层间混合 (Inter-layer Hybrid)：在模型的不同层使用不同类型的模块。例如，大部分层使用高效的Mamba模块，但在少数几层插入强大的全注意力模块。这样既能保证整体的计算效率，又能利用全注意力层来整合和提炼全局信息。Jamba 就是一个典型的例子，它交错地堆叠了Mamba和Transformer层，并加入了MoE，实现了性能和效率的高度平衡。
• • 层内混合 (Intra-layer Hybrid)：在同一个注意力层内部混合不同的机制。例如，一个注意力层的不同头可以采用不同的策略，一些头负责局部注意力，另一些头负责全局或稀疏注意力。

小结：混合架构是当前最务实且前沿的设计范式。它承认没有任何一种单一架构是万能的，通过灵活组合，可以根据需求定制出最优的效率-性能曲线。

战场六：扩散大模型 (Diffusion LLMs) - 并行生成的新范式

这代表了与传统自回归LLM完全不同的生成哲学。

• • 自回归模型：像一个作家，一个字一个字地写。优点是连贯性好，但缺点是慢，因为写第N个字必须等前N-1个字都写完。
• • 扩散模型：更像一个雕塑家。它从一整块“随机噪声”的原材料开始，通过一步步的“去噪”和“打磨”，最终一次性呈现出完整的作品（一整句话）。

核心优势：

• • 并行解码：由于是一次性生成所有Token，其推理延迟远低于自回归模型，特别适合需要快速响应的场景。
• • 可控性强：扩散过程天然支持对生成内容进行约束，例如控制句子长度、格式或风格。

现状：虽然扩散模型在图像生成领域已经大放异彩，但在文本生成上，其性能一直稍逊于顶级自回归模型。然而，正如这篇综述所指出的，随着 LLaDA 等新模型的出现，这一差距正在迅速缩小，显示出巨大的潜力。

小结：扩散LLM为高效生成开辟了一条全新的道路。如果它能在性能上完全追平自回归模型，可能会引发语言生成领域的又一次范式转移。

未来的路在何方？

最后，这篇综述也为我们指明了未来的研究方向，简短而精炼：

• • 软硬件协同设计：未来的模型架构将不再仅仅是算法层面的创新，而必须是算法、系统、硬件三位一体的协同设计，才能最大化效率。
• • 动态与自适应：模型将变得更加“智能”，能够根据输入内容的复杂度和可用的计算资源，动态地调整其计算策略，例如动态决定稀疏度或激活的专家数量。
• • 超越文本：这些高效架构的思想将被更广泛地应用到处理更长、更复杂的模态数据上，如高分辨率视频分析、基因序列建模等。

总而言之，我们正处在一个LLM架构“百花齐放”的黄金时代。 曾经由Transformer一统天下的局面正在被打破。未来的大模型将不再是单一的庞然大物，而是一个由多种高效组件灵活构成的、更加智能、更加敏捷的复杂系统。

正如这篇综述的标题所言，“Speed Always Wins”（速度为王）。在通往通用人工智能的漫长道路上，那些跑得更快、更远、更高效的架构，无疑将拥有更广阔的未来。

论文名称：Speed Always Wins: A Survey on Efficient Architectures for Large Language Models
第一作者：上海 AI Lab
论文链接：https://www.arxiv.org/abs/2508.09834
最新日期：2025年8月13日
github：https://github.com/weigao266/Awesome-Efficient-Arch.git