结构化剪枝和非结构化剪枝有什么区别？

1. 大模型剪枝方式差异

• 非结构化剪枝：将权重矩阵中绝对值接近零的元素逐个置零，形成不规则的稀疏模式。例如对 LLaMA-7B 进行 50% 非结构化剪枝后，约一半的权重变为零，但矩阵的整体形状保持不变。
• 结构化剪枝：直接删除完整的结构单元，如整个注意力头或 FFN 通道，使权重矩阵的实际维度缩小。例如移除 20% 的注意力头后，QKV 投影矩阵的维度从 [hidden_size, num_heads × head_dim] 变为 [hidden_size, 0.8 × num_heads × head_dim]。

2. 硬件适配性对比

3. 实际应用建议

在实际生产环境中，结构化剪枝因其硬件友好性而更受青睐。2026 年的实践表明，优先使用结构化剪枝能在标准 GPU 上实现真正的推理加速，而非结构化剪枝更适合拥有 NVIDIA A100 等支持稀疏张量核的专用硬件场景。