跳到正文
arXiv · 机器人与计算机视觉· Sicheng Feng, Keda Tao, Huan Wang·· 23 天前精选AI 评分82

Oracle 剪枝是否仍是真正的‘神谕’?对深度神经网络剪枝基础的系统性检验

Is Oracle Pruning the True Oracle?

AI 导读

该研究首次系统性地检验了基于最小化剪枝损失来选择非重要权重的 Oracle 剪枝方法的有效性。通过对 LeNet5、ViT 等模型在 MNIST、ImageNet-1K 等数据集上的大规模实验(涉及约 3.7 万个模型),研究发现对于非平凡规模的深度学习模型,重训前的性能与重训后的性能几乎不相关。

推荐理由

论文通过大规模实验发现预训练性能与重训后性能相关性极低,质疑了传统剪枝方法的理论前提。

来源:arXiv · 机器人与计算机视觉 · arxiv.org