arXiv · 机器人与计算机视觉· Boxiang Zhang, Baijian Yang·· 9 天前AI 评分68
CORP:一种基于闭式解的单次表示保留结构化剪枝方法
CORP: Closed-Form One-shot Representation-Preserving Structured Pruning
AI 导读
论文提出 CORP 方法,将结构化剪枝建模为表示恢复问题,利用无标签校准数据通过闭式岭回归推导补偿权重,无需梯度或微调即可移除 MLP 维度和注意力子结构。实验显示在 ImageNet 上 DeiT-Huge 模型剪枝 50% 后 Top-1 准确率仍达 83.24%,揭示了表示冗余并支持高效部署。
来源:arXiv · 机器人与计算机视觉 · arxiv.org