arXiv · 机器人与计算机视觉· Qi Wang, Jinjia Zhou·· 9 天前AI 评分48
Heterogeneous Asymmetric Contrastive Distillation (HACD) 方法实现异构架构知识蒸馏
Heterogeneous Asymmetric Contrastive Distillation
AI 导读
HACD 通过映射 logits 至共享单位超球面,将教师模型的预测关系结构转移给学生模型。该方法无需学习参数且每样本仅需一次教师前向传播,在 CIFAR-100 和 ImageNet-1K 数据集上无真值标签即取得最优或次优精度。相比传统蒸馏,HACD 在异构架构对上的平均准确率分别提升 8.82 和 1.33 个百分点。
来源:arXiv · 机器人与计算机视觉 · arxiv.org