大模型剪枝

一、大模型剪枝的基本原理是什么？

1. 冗余性假设

神经网络中存在大量冗余参数，研究表明大模型中约 30%–50% 的参数对最终输出的贡献极小。剪枝技术基于这一观察，通过系统性地识别并移除这些"不重要"的权重或结构单元来实现模型压缩。

2. 重要性评分机制

剪枝的核心在于如何衡量每个参数或结构单元的重要性。常见的评分标准包括：

• 幅值评分（Magnitude-based）：以权重的绝对值大小作为重要性指标，绝对值越小的权重被认为越不重要。这是最基础也最高效的评分方法。
• 梯度评分（Gradient-based）：利用损失函数对权重的梯度信息评估重要性，能够反映权重变化对最终损失的影响程度。
• Hessian 评分：基于二阶梯度信息（Hessian 矩阵）评估权重的重要性，精度更高但计算开销较大，代表方法如 SparseGPT。
• 激活感知评分：结合权重幅值与对应输入激活值进行综合评分，代表方法 Wanda（Weights and Activations）无需重新训练即可实现有效剪枝。

3. 剪枝后补偿

移除参数后，剩余权重需要进行调整以补偿精度损失。常见策略包括一次性权重更新（如 OBS 方法）、迭代式微调以及知识蒸馏辅助恢复等。

二、大模型剪枝有哪些主要方法？

1. 按剪枝粒度分类

根据剪枝操作的对象不同，主要分为以下三类：

• 非结构化剪枝：移除单个权重元素，形成稀疏矩阵。压缩率高（可达 80%–95%），但需要专用稀疏计算硬件才能加速。
• 结构化剪枝：移除整个结构单元（如注意力头、FFN 神经元通道、Transformer 层）。虽然压缩率相对较低（通常 30%–60%），但能直接减少 FLOPs，在标准 GPU 上即可获得实打实的推理加速。
• 半结构化剪枝：介于两者之间，典型代表为 N:M 稀疏模式（如 2:4 剪枝表示每连续 4 个权重中移除 2 个）。NVIDIA Ampere 架构及后续 GPU 原生支持 2:4 稀疏加速。

2. 按剪枝时机分类

• 训练后剪枝（Post-training Pruning）：在预训练完成后直接进行剪枝，无需重新训练。Wanda、SparseGPT 等均属于此类，部署成本低。
• 训练中剪枝（Training-aware Pruning）：在模型训练过程中同步进行剪枝，通过动态调整网络结构实现端到端优化。

3. 按剪枝对象分类

• 宽度剪枝：移除注意力头或 FFN 中间维度神经元，减小单层内部的宽度。
• 深度剪枝：移除整个 Transformer 层，减小模型的层数。
• 混合剪枝：同时应用宽度和深度剪枝，如 2SSP 两阶段框架先做宽度剪枝再做深度剪枝。

三、结构化剪枝和非结构化剪枝有什么区别？

1. 大模型剪枝方式差异

• 非结构化剪枝：将权重矩阵中绝对值接近零的元素逐个置零，形成不规则的稀疏模式。例如对 LLaMA-7B 进行 50% 非结构化剪枝后，约一半的权重变为零，但矩阵的整体形状保持不变。
• 结构化剪枝：直接删除完整的结构单元，如整个注意力头或 FFN 通道，使权重矩阵的实际维度缩小。例如移除 20% 的注意力头后，QKV 投影矩阵的维度从 [hidden_size, num_heads × head_dim] 变为 [hidden_size, 0.8 × num_heads × head_dim]。

2. 硬件适配性对比

3. 实际应用建议

在实际生产环境中，结构化剪枝因其硬件友好性而更受青睐。2026 年的实践表明，优先使用结构化剪枝能在标准 GPU 上实现真正的推理加速，而非结构化剪枝更适合拥有 NVIDIA A100 等支持稀疏张量核的专用硬件场景。

四、大模型剪枝中的重要性评分机制是如何工作的？

1. 基于幅值的评分

最直观的方法是使用权重的绝对值作为重要性分数：

importance(w_i) = |w_i|

该方法计算效率极高，但对于大模型而言，单纯依赖幅值往往导致严重的精度下降。

2. 基于梯度的评分

利用损失函数对权重的梯度来评估重要性：

importance(w_i) = |∂L/∂w_i × w_i|

这种方法考虑了权重对最终损失的敏感度，比纯幅值方法更准确。LLM-Pruner 等框架采用梯度评分来识别需要保留的关键结构。

3. 基于 Hessian 的评分

通过二阶梯度信息评估权重的重要性，理论上最为精确：

importance(w_i) = H_ii × w_i²

其中 H_ii 是 Hessian 矩阵的对角元素。SparseGPT 利用这种二阶信息进行逐层重构，在高稀疏度下仍能保持较好精度，但计算复杂度较高。

4. 基于激活感知的评分

Wanda 方法提出了一种无需训练的评分机制，将权重幅值与输入激活的范数相结合：

importance(w_ij) = |w_ij| × ||x_j||₂

其中 x_j 是对应输入通道的激活向量。该方法仅需少量校准数据即可完成评分，在多个基准测试中表现优异。

5. 混合粒度评分

最新研究如 HyWIA（Hybrid-grained Weight Importance Assessment）融合了细粒度和粗粒度的重要性评估，通过注意力机制自适应地确定最优的粒度组合，在 LLaMA-7B 50% 剪枝率下比 LLM-Pruner 平均精度提升 2.82%。

五、大模型剪枝对 Transformer 架构中的注意力层如何处理？

1. 注意力头剪枝

多头注意力机制中的各个注意力头并非同等重要。研究发现大模型中约 30%–40% 的注意力头存在冗余。剪枝时通常采用以下步骤：

• 计算每个注意力头的重要性分数，常用指标包括 ||W_q W_k^T||_F 范数或基于梯度的评分。
• 按重要性排序，移除排名最低的头。
• 确保 Q、K、V 三个投影矩阵的剪枝模式一致，避免维度不匹配。

2. 注意力子模块剪枝

BlockPruner 等方法将每个 Transformer 层划分为 MHA（多头注意力）和 MLP（多层感知器）两个独立块，分别评估其重要性后进行迭代剪枝。实验表明，在某些层中移除整个注意力子模块对困惑度的影响小于预期。

3. 残差连接处理

剪枝后必须确保残差连接的维度对齐。当某一层的注意力头被部分移除时，后续层的输入维度也需相应调整，这要求在剪枝过程中维护全局的维度一致性。

4. 分层敏感性差异

前几层和后几层对剪枝更为敏感，通常中间层可承受更高的剪枝率。实践建议保留至少 50% 的注意力头以维持模型的基本注意力能力。

六、大模型剪枝的一次性剪枝和迭代式剪枝各有什么特点？

1. 一次性剪枝（One-shot Pruning）

一次性剪枝在单次操作中完成全部剪枝过程：

• 优点：速度快，计算开销小，适合快速原型验证。
• 缺点：大幅剪枝容易导致精度崩溃，尤其在剪枝率超过 40% 时精度下降明显。
• 适用场景：低至中等剪枝率（20%–30%）或对精度要求不高的场景。

2. 迭代式剪枝（Iterative Pruning）

迭代式剪枝采用"剪枝—微调—再剪枝"的多轮循环：

• 优点：每轮只移除少量参数，通过中间微调逐步恢复精度，可在高剪枝率下保持稳定性能。
• 缺点：整体耗时较长，需要多轮微调计算资源。
• 典型流程：
  • 第一轮：剪除 10% 参数 → 微调恢复
  • 第二轮：再剪除 10% 参数 → 微调恢复
  • 重复直至达到目标剪枝率

3. GISP 方法的创新

2026 年 ACL 会议接受的 GISP（Global Iterative Structured Pruning）方法提出了一种全局迭代结构化剪枝框架，通过基于损失的一阶重要性评分和分块归一化，在不进行中间微调的情况下实现了 40%–50% 稀疏度下的稳定精度。其迭代剪枝形成的嵌套子网络支持"一次剪枝、多处部署"的工作流。

七、大模型剪枝过程中如何确定剪枝比例？

1. 经验法则

• 保守策略：20%–30% 剪枝率，精度损失通常控制在 1% 以内，适合对精度要求较高的生产环境。
• 平衡策略：30%–50% 剪枝率，可获得显著的推理加速（2–4 倍），精度损失在可接受范围内（2%–5%）。
• 激进策略：50% 以上剪枝率，推理速度大幅提升但精度损失可能超过 5%，需配合微调和蒸馏恢复。

2. 分层差异化剪枝

不同层对剪枝的敏感度不同，可采用非均匀剪枝策略：

• 前几层和后几层：较低剪枝率（10%–20%）
• 中间层：较高剪枝率（40%–60%）
• 注意力头和 FFN 通道：可根据各自的重要性分布独立设定剪枝率

3. 基于硬件约束的剪枝

根据目标部署设备的资源限制反向推导剪枝比例：

• 显存约束：计算目标设备的可用显存，确定模型参数的上限。
• 延迟约束：根据业务 SLA 要求的最大推理延迟，推算所需的 FLOPs 上限。
• 功耗约束：边缘设备还需考虑功耗预算，可能需要更高的剪枝率。

八、大模型剪枝对模型精度有什么影响？

1. 精度变化的总体规律

适度剪枝（20%–40%）下，模型在大多数下游任务上的精度损失较小：

• 对 7B 规模模型剪掉 30% 的注意力头后，MMLU 精度下降通常小于 2%。
• 结构化剪枝 40%–50% 时，WikiText-2 困惑度会有所上升，但通过微调可有效恢复。
• 过度剪枝（超过 60%）可能导致精度急剧下降，出现所谓的"精度崩塌"现象。

2. 不同能力的差异化影响

UniComp 统一评估框架的研究发现，剪枝对不同能力的影响存在显著差异：

• 事实性知识：相对保持较好，因为这类知识主要编码在权重中。
• 多步推理能力：较为脆弱，剪枝后下降幅度较大。
• 指令遵循能力：中度敏感，适度剪枝下可保持基本水平。
• 多语言能力：下降较明显，尤其是低资源语言。

3. 意外增益现象

部分研究发现，适度的宽度剪枝在某些指标上反而带来提升：

• TruthfulQA 等真实性评估指标在剪枝后有时会改善，可能是因为剪枝减少了模型记忆的错误知识。
• IFEval（指令遵循评估）在 30% 剪枝率下可能出现非单调的性能提升。

九、大模型剪枝后为什么需要进行微调？

1. 补偿精度损失

剪枝移除了部分参数，破坏了原有的权重分布。微调通过在少量校准数据上继续训练，让剩余权重重新适应新的网络结构，从而恢复被剪枝破坏的表征能力。

2. 微调的关键技巧

• 学习率调整：剪枝后的微调通常需要将学习率降低至原始训练时的 1/3 左右，以避免破坏已学到的特征。
• 正则化策略：增加 L2 正则化防止过拟合，因为剪枝后的模型容量减小，更容易过拟合微调数据。
• 数据增强：使用更强的数据增强策略弥补因剪枝造成的信息损失。
• 蒸馏辅助：在微调过程中引入知识蒸馏损失，让剪枝后的模型继续模仿原始模型的输出分布。

3. 微调的数据需求

微调所需的数据量远少于原始训练：

• 对于训练后剪枝，通常只需 128–512 条校准样本即可完成有效微调。
• 对于迭代式剪枝，每轮微调可使用更少的数据（如 64–128 条），但需要更多轮次。

十、大模型剪枝的压缩率和推理速度之间是什么关系？

1. 理论关系

压缩率与推理速度的提升并非线性关系，而是受到多种因素制约：

• FLOPs 减少比例：结构化剪枝直接减少矩阵乘法运算量，FLOPs 的减少大致与剪枝率成正比。
• 内存带宽优化：减少参数量降低了权重加载的内存带宽需求，对小批量推理尤为明显。
• 硬件利用率：剪枝后的矩阵尺寸需要与硬件的计算单元对齐才能获得最佳加速效果。

2. 实测数据参考

根据多项研究的实测结果：

• 对 7B 模型进行 30% 结构化剪枝后，推理速度提升约 25%，MMLU 精度下降小于 2%。
• 在某边缘设备部署场景中，通过结构化剪枝将模型从 1.2B 参数压缩至 380M，FLOPs 减少 62%，推理延迟从 120ms 降至 45ms。
• 在智能客服系统中，对 BERT 模型进行 40% 结构化剪枝后再进行 INT8 量化，推理延迟从 230ms 降至 68ms。

3. 边际效应递减

随着剪枝率的提高，单位剪枝率带来的速度增益逐渐减小，而精度损失则加速增大。因此在实际应用中需要找到压缩率与精度的帕累托最优点。

十一、大模型剪枝能否与量化技术结合使用？

1. 组合策略的优势

剪枝和量化是大模型压缩中最常用的两种技术，二者结合可实现叠加效应：

• 先剪枝后量化：先用结构化剪枝移除冗余结构，再对剩余权重进行低精度量化。这种方式避免了量化误差干扰剪枝决策。
• 稀疏量化联合优化：如 Sparse-Quantization 方案，同时优化稀疏模式和量化参数，在极低比特下仍能保持较好精度。

2. 典型组合方案

3. 腾讯 AngelSlim 的统一压缩框架

腾讯混元团队开源的 AngelSlim 框架将量化、投机解码、稀疏注意力和 Token 剪枝四条技术路线统一到一个体系中。该框架支持 Qwen3 全系列模型的 Eagle3 权重压缩，以及 DeepSeek-R1 级别的 W4A8-FP8 量化权重，为不同场景提供体系化的压缩解决方案。

4. 注意事项

• 混合精度设计：对剪枝后敏感的层保持较高精度（如 FP16），对其他层使用更低精度（如 INT8）。
• 校准数据集选择：应使用与目标应用场景相似的数据进行量化校准，以获得最佳的联合压缩效果。

十二、大模型剪枝有哪些常用的评估指标？

1. 语言建模指标

• 困惑度（Perplexity, PPL）：最常用的评估指标，衡量模型预测下一个 token 的能力。通常在 WikiText-2 测试集上计算，数值越低越好。一般来说，困惑度增加 1–2 点被认为是可接受的。
• WikiText-2 / C4 / FineWeb：常用的语言建模评测数据集。

2. 下游任务指标

• MMLU：大规模多任务语言理解基准，涵盖 57 个学科领域的知识问答。
• ARC-Challenge / ARC-Easy：科学问题推理能力评估。
• HellaSwag：常识推理能力评估。
• WinoGrande：代词消歧能力评估。
• BoolQ：是非问答题评估。
• PIQA：物理常识推理评估。
• GSM8K：数学推理能力评估，对剪枝极为敏感。
• IFEval：指令遵循能力评估。
• TruthfulQA：模型回答的真实性评估。

3. 效率指标

• 推理延迟：单次推理的时间消耗（毫秒）。
• 吞吐量（QPS）：单位时间内处理的请求数。
• 显存占用：模型加载和推理过程中的 GPU 显存消耗。
• FLOPs：浮点运算次数，反映计算复杂度。
• 压缩比：原始模型大小与压缩后模型大小的比值。

4. 可靠性指标

最新的 UniComp 评估框架还引入了可靠性维度，包括模型在多语言、文化多样性、安全性等方面的表现，以更全面地评估压缩模型的实际可用性。

十三、大模型剪枝有哪些主流的开源工具和框架？

1. 通用剪枝工具

• Wanda：基于权重和激活评分的训练后剪枝方法，实现简单且效果好，支持非结构化和半结构化（2:4）剪枝。
• SparseGPT：利用二阶梯度信息进行逐层重构的高精度剪枝方法，适合高稀疏度场景。
• LLM-Pruner：基于梯度信息的结构化剪枝框架，专注于移除关键耦合结构如注意力头和 MLP 通道。
• Torch-Pruning：PyTorch 生态中的结构化剪枝库，支持多种 LLM 架构的自动剪枝。

2. 统一剪枝框架

• LLM-Pruning Collection：普林斯顿大学 Zlab 开发的基于 JAX 的统一剪枝框架，集成了 Minitron、ShortGPT、Wanda、SparseGPT、Sheared Llama、LLM-Pruner 等多种主流方法，提供了 GPU（FMS-FSDP）和 TPU（MaxText）的训练支持。
• NVIDIA NeMo：NVIDIA 官方实现的 Minitron 方法，提供结构化剪枝加知识蒸馏的完整管线。
• Pruna AI：Apache-2.0 授权，支持数十种压缩算法，涵盖缓存、量化、剪枝、蒸馏和编译等技术类别，一行代码即可对扩散模型和大语言模型进行压缩。

3. 腾讯相关工具

• AngelSlim：腾讯混元开源的大模型压缩神器，统一整合了量化、投机解码、稀疏注意力和 Token 剪枝四条技术路线，已开源 Qwen3 全系列和 DeepSeek-R1 的压缩权重。
• 腾讯云 TI 平台：提供自动化模型压缩工具，支持一键完成量化、剪枝和蒸馏流程，配合 TI-ACC 加速推理引擎实现端到端的模型压缩与部署。

十四、大模型剪枝适用于哪些类型的大语言模型？

1. 适用的模型架构

剪枝技术广泛适用于各类基于 Transformer 的大语言模型：

• Decoder-only 架构：如 LLaMA 系列、Qwen 系列、Mistral 等，是目前剪枝研究的主要对象。
• Encoder-Decoder 架构：如 T5 系列，可通过注意力头剪枝实现有效压缩。
• MoE（Mixture of Experts）架构：如 DeepSeek-MoE、Switch Transformer，可对专家网络进行选择性剪枝。

2. 不同规模模型的剪枝策略

• 小规模模型（1B–7B）：对剪枝较为敏感，建议采用较低的剪枝率（20%–30%）并配合微调。
• 中等规模模型（7B–13B）：可承受中等剪枝率（30%–50%），是剪枝技术应用的最佳区间。
• 大规模模型（70B+）：由于参数冗余度更高，可尝试更高的剪枝率，但计算开销也更大。

3. 特定模型的剪枝实践

• LLaMA 系列：有最丰富的剪枝研究和工具支持，Wanda、SparseGPT 等方法均有成熟的实现。
• Qwen 系列：腾讯 AngelSlim 已提供 Qwen3 全系列的 Eagle3 压缩权重。
• DeepSeek 系列：已有针对 DeepSeek 视觉语言模型的结构化剪枝实践，合理剪枝可减少 30% 的注意力头数量而准确率下降不超过 1.5%。

十五、大模型剪枝在实际生产环境中如何部署？

1. 部署流程

在生产环境中部署剪枝后的模型通常遵循以下步骤：

• 离线剪枝：在开发环境中对预训练模型进行剪枝和微调。
• 格式转换：将剪枝后的模型转换为推理引擎支持的格式（如 ONNX、TensorRT、GGUF 等）。
• 性能验证：在目标硬件上测试推理延迟、吞吐量和显存占用，确保满足 SLA 要求。
• 灰度发布：先在小流量环境下验证模型效果，确认无异常后逐步扩大服务范围。

2. 腾讯云 TI 平台的部署方案

腾讯云 TI 平台（TI-ONE）为企业提供了一站式的大模型开发与部署服务，支持从模型剪枝到推理加速的全流程：

• 自动化压缩：通过 TI 平台的模型结构优化功能，自动应用剪枝等压缩技术。
• 推理加速：部署时选择 TI-ACC 加速推理引擎，或利用云函数 SCF 实现低延迟调用。
• 弹性扩缩容：支持一键多副本扩缩容，应对业务流量波动。
• 私有化部署：通过算力、模型和调用接口的完全自主可控部署方案，保障数据私有化安全。

3. 典型部署案例

某头部无人机企业通过 TI-ONE 平台打通 TurboFS 存储，实现多机多卡训练加速，实测训练性能提升约 40%。某互联销售管理公司引入 TI-ACC 推理加速与弹性伸缩能力后，平均推理延迟降低 3–4 倍，QPS 提升 2–3 倍。

十六、大模型剪枝有哪些典型的应用场景？

1. 边缘设备部署

在手机、IoT 设备等资源受限的边缘终端上，剪枝技术可将数十亿参数的大模型压缩到可在本地运行的规模，实现离线推理和低延迟响应。例如通过结构化剪枝配合 INT4 量化，可使原本只能在服务器上运行的模型在手机端流畅运行。

2. 实时交互场景

智能客服、语音助手等对延迟敏感的应用中，剪枝可显著降低推理延迟。实践表明，经过 40% 结构化剪枝的模型在保持 98% 以上准确率的同时，推理速度可提升 2–3 倍。

3. 高并发推理服务

在大流量 API 服务中，剪枝后的模型可以在相同的硬件资源下支持更高的并发请求数。通过潮汐调度策略，推理卡在闲暇时段的资源利用率可从 30% 跃升至 90%。

4. 多模态应用

视觉 - 语言模型中的视觉 Token 可通过剪枝技术进行压缩。例如在多模态任务中保留 25% 的视觉 Token，精度仍可维持在 95% 以上；语音 ASR 任务中 40% 压缩下 WER（词错误率）几乎不变。

5. 行业定制化部署

在金融、医疗、保险等行业中，企业可通过剪枝技术将大模型适配到私有化部署环境中，既满足了数据安全合规要求，又控制了推理成本。腾讯云 TI 平台已在泛互联网、金融及智能制造等领域实现了深度业务赋能。