Frustratingly Easy Task-aware Pruning for Large Language Models

发布时间:2026/7/6 15:00:08
Frustratingly Easy Task-aware Pruning for Large Language Models 一、文章主要内容总结本文聚焦大型语言模型(LLMs)剪枝技术,针对传统剪枝方法仅注重保留通用文本生成流畅性、忽视特定任务和领域性能的问题,提出一种简单有效的任务感知剪枝框架。核心思路是融合通用领域和任务特定领域的校准数据,通过激活范数差异划分参数通道类型,计算混合重要性分数以指导剪枝,在压缩模型规模的同时保留任务专属能力。具体内容包括:问题背景:现有剪枝方法(如SparseGPT、Wanda)依赖通用领域校准数据,易误删与指令遵循、领域问答等任务相关的关键参数,导致特定任务性能下降。方法设计:采用双源校准数据(通用领域(D_G)和任务特定领域(D_T)),分别计算参数重要性分数;通过激活范数差异(\Delta_j)将通道划分为共享通道(通用与任务领域共通)、通用专属通道、任务专属通道;融合不同通道的重要性分数,按目标稀疏率剪枝分数最低的参数,兼容现有剪枝算法(如Wanda)。实验验证:在Qwen-3(32B)模型上,基于WikiText-2(语言流畅性)、MMLU(多任务理解)、MedQA(医疗问答)、ARC(科学推理)等数据集测试,涵盖50%/75%/90%非结构化剪枝及2:4/4:8结构化剪枝。结果显示,该方法在所有剪枝比例和配置下均优于传统基线(如Wanda),在保持通用流畅性的同时,显著提升特定任务性能。二、