大模型剪枝新范式：先浓缩，再剪枝——DenoiseRotator技术解读

Source : mp.weixin.qq.com

美团LongCat Interaction团队联合上海交通大学听觉认知与计算声学实验室，以及香港科技大学的研究者，共同完成了大模型剪枝方法的创新研究，提出了名为DenoiseRotator的新技术。通过首先对参数矩阵进行变换，“将知识和推理能力浓缩到由少量参数组成的子网络内”，“再裁剪掉子网络外的参数”，实现了大模型剪枝的新范式。DenoiseRotator能够与现有的剪枝算法快速集成，有效缓解模型压缩带来的性能损失。这一研究成果已在2025年的NeurIPS会议上发表。