©Paperweekly 原创 · 作者 | An.
单位 | 中科院自动化所
研究方向 | 计算机视觉、模型压缩
SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot 论文链接：
https://arxiv.org/pdf/2301.00774.pdf
本文提出了首个可以在千亿参数模型上高效准确工作的一次性剪枝算法 ——SparseGPT。该方法将剪枝问题简化为极大规模的稀疏回归问题，并设计了一个新的近似稀疏回归求解器，也解决分层剪枝问题。
SparseGPT 可以在最大的开源 GPT 模型（1750 亿参数）上仅用单个 GPU 耗时几小时就完成剪枝。同时，在无需任何微调的情况下，修剪上千亿（50~60%）参数后模型的精度几乎不变（甚至提升） 。SparseGPT 还可以轻松地推广到半结构化剪枝（2:4 和 4:8），并且与权重量化方法结合。 千亿参数的剪枝挑战
以 chatGPT 为代表的大型语言模型（LLMs）取得了让世人瞩目的成果，但其庞大的规模和计算成本导致了极高的“入场费”。OpenAI 的 chatGPT 模型包含 1750 亿个参数，单是推理就需要至少 5 个 80GB 显存的 A100 GPU （保守估计至少 43 万元），更不用说研究所需要的训练。因此对大规模预训练模型的压缩十分重要且必要。
模型剪枝已在较小规模的模型（例如 BERT、ViT）中取得了很好的压缩效果。然而，表现最好的剪枝方法都需要对模型进行大量的再训练，以恢复删除元素造成的性能下降。正如上文所提到的，这一做法在 GPT 规模的模型上的代价极其昂贵。
最近出现了一些训练后剪枝方法 [1,2]，它们可以在不重新训练的情况下压缩模型。它们通常是将整个模型的压缩问题划分为分层子问题来求解，通过缩小每个压缩层和未压缩层之间输出的 式（1）涉及对 式（1,2）的求解思路在少于 1 亿参数的 CNN 和 Transformer 模型上在几个小时内取得很好的压缩性能，但式（2）存在着一个“隐患”，整体的时间复杂度高达 例如 OBC [2] 这样的算法乐观估计也将耗时几周的时间 ，这其中还可能包括其他意想不到的巨大挑战。 快速近似重建
2.1 不同行海森矩阵的不一致问题
从第 1 节的分析可知，4 次方的计算复杂度主要源于每行的海森矩阵都不一致。正如图 1 所示，行掩码 设计一个既准确又高效的近似算法的关键是在具有不同修剪掩码的行之间重用海森矩阵 。
▲ 图1. 不同行海森矩阵的不一致问题（红、绿、蓝对应三行的掩码，掩码的不同导致掩码海森矩阵的不同）
2.2 基础：最优脑手术算法 OBS 为了解决上述问题，我先介绍下经典的 OBS [4]算法，它是训练后剪枝的鼻祖，可以实现逐个去除权重，并对其他权重进行补偿。 OBS 的思想是找到在权重补偿后对损失函数影响最小的权重 ，即找到损失最小的权重索引 当达到局部极小值时，一次项和三次及高次项均可忽略。假设去掉索引 2.3 等价迭代视角
为了在具有不同修剪掩码的行之间重用海森矩阵，我们可以先从 OBS 的迭代视角来看逐行权重重建。由于逐层剪枝下 进一步讲，我们无须逐行直接求解完整的 最优部分更新（OPU） ：OBS 会对当前掩码 重要的是，对于 ，特定分层问题的损失仍是二次的，因此这种部分更新仍是最优的 。随着迭代的进行，海森同步 ：在了解 OBS 和 OPU 原理后，我们可以利用它们的机制来实现在 从 图 2 展示了具体的权重重建的流程：对
▲ 图2. SparseGPT 重建算法的可视化流程
2.4 计算复杂度 由 2.3 节的流程可将近似重建过程分为三个部分：（a）初始海森矩阵的计算，时间复杂度为 自适应掩码选择
第 2 节只考虑了权重重建过程（算法的计算量主要也集中于此）。对于掩码选择阶段，常见的方法是利用某种重要性指标来选取掩码，例如 AdaPrune [1]。然而，最近的工作 [2] 表明，在修剪过程中更新权重会导致重要性的显著变化，如果能在掩码选择阶段考虑这一影响将获得更准确的结果。因此 SparseGPT 设计了一种能在权重重建过程中自适应选择掩码的方法。
最直接的做法是在每一列中利用 OBS/OPU 选择最容易修剪的 为了平衡精度和计算成本，SparseGPT 将通过分块迭代求解来实现自适应地掩码选择，图 3 很好地展示了这一平衡策略——以
▲ 图3. 自适应掩码选择策略
半结构化稀疏扩展 ：图 3 的掩码选择策略很容易适应半结构化剪枝模式，以 Ampere NVIDIA GPU 上适用 2:4 稀疏格式为例，该模式要求在每个连续的 1. 不同模型尺寸的剪枝表现： 表 1 给出了不同剪枝策略在不同模型大小上的性能表现。幅值剪枝仅在稀疏 10% 时保持较为良好的精度，而 SparseGPT 可以在稀疏 50~60% 的情况下保持精度不变。在 OPT-175B 上，SparseGPT 稀疏 50% 参数量的情况下，性能反而更好，困惑度从 8.34 降低至 8.21（越低越好）。同时 4:8 或 2:4 的半结构化剪枝扩展也有着良好的性能表现，这些方法能够在硬件上获得实际的推理加速和内存占用减少。
▲ 表1. OPT 在 raw-WikiText2 数据集上的困惑度结果
2. Zero-shot 实验： 在表 2 中，作者还补充了几个 Zero-shot 任务中 OPT-175B 的各种稀疏变体的结果。从中可以看出稀疏 50% 的 SparseGPT 几乎与原始模型有着相同的零样本识别能力。
▲ 表2. OPT-175B的稀疏变体在多个数据集上的 Zero-shot 结果表现 [1] Itay Hubara, Brian Chmiel, Moshe Island, Ron Banner, Seffi Naor, and Daniel Soudry. Accelerated sparse neural training: A provable and efficient method to find N:M transposable masks. In Conference on Neural Information Processing Systems (NeurIPS), 2021.
[2] Elias Frantar, Sidak Pal Singh, and Dan Alistarh. Optimal Brain Compression: A framework for accurate post-training quantization and pruning. arXiv preprint arXiv:2208.11580, 2022. Accepted to NeurIPS 2022, to appear.
[3] Thomas Blumensath and Mike E Davies. Iterative thresholding for sparse approximations. Journal of Fourier Analysis and Applications, 14(5-6):629–654, 2008.
[4] Babak Hassibi, David G Stork, and Gregory J Wolff. Optimal brain surgeon and general network pruning. InIEEE International Conference on Neural Networks, 1993.
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读 ，也可以是学术热点剖析 、科研心得 或竞赛经验讲解 等。我们的目的只有一个，让知识真正流动起来。