大模型剪枝对 Transformer 架构中的注意力层如何处理？

1. 注意力头剪枝

多头注意力机制中的各个注意力头并非同等重要。研究发现大模型中约 30%–40% 的注意力头存在冗余。剪枝时通常采用以下步骤：

• 计算每个注意力头的重要性分数，常用指标包括 ||W_q W_k^T||_F 范数或基于梯度的评分。
• 按重要性排序，移除排名最低的头。
• 确保 Q、K、V 三个投影矩阵的剪枝模式一致，避免维度不匹配。

2. 注意力子模块剪枝

BlockPruner 等方法将每个 Transformer 层划分为 MHA（多头注意力）和 MLP（多层感知器）两个独立块，分别评估其重要性后进行迭代剪枝。实验表明，在某些层中移除整个注意力子模块对困惑度的影响小于预期。

3. 残差连接处理

剪枝后必须确保残差连接的维度对齐。当某一层的注意力头被部分移除时，后续层的输入维度也需相应调整，这要求在剪枝过程中维护全局的维度一致性。

4. 分层敏感性差异

前几层和后几层对剪枝更为敏感，通常中间层可承受更高的剪枝率。实践建议保留至少 50% 的注意力头以维持模型的基本注意力能力。