大模型剪枝的一次性剪枝和迭代式剪枝各有什么特点？

1. 一次性剪枝（One-shot Pruning）

一次性剪枝在单次操作中完成全部剪枝过程：

• 优点：速度快，计算开销小，适合快速原型验证。
• 缺点：大幅剪枝容易导致精度崩溃，尤其在剪枝率超过 40% 时精度下降明显。
• 适用场景：低至中等剪枝率（20%–30%）或对精度要求不高的场景。

2. 迭代式剪枝（Iterative Pruning）

迭代式剪枝采用"剪枝—微调—再剪枝"的多轮循环：

• 优点：每轮只移除少量参数，通过中间微调逐步恢复精度，可在高剪枝率下保持稳定性能。
• 缺点：整体耗时较长，需要多轮微调计算资源。
• 典型流程：
• 第一轮：剪除 10% 参数 → 微调恢复
• 第二轮：再剪除 10% 参数 → 微调恢复
• 重复直至达到目标剪枝率

3. GISP 方法的创新

2026 年 ACL 会议接受的 GISP（Global Iterative Structured Pruning）方法提出了一种全局迭代结构化剪枝框架，通过基于损失的一阶重要性评分和分块归一化，在不进行中间微调的情况下实现了 40%–50% 稀疏度下的稳定精度。其迭代剪枝形成的嵌套子网络支持"一次剪枝、多处部署"的工作流。