跳到正文
arXiv · 机器人与计算机视觉· Seongjae Kang, Dong Bok Lee, Hyungjoon Jang, Sung Ju Hwang·· 23 天前精选AI 评分82

通过双头优化从视觉语言模型进行简单有效的半监督知识蒸馏

Simple yet Effective Semi-supervised Knowledge Distillation from Vision-Language Models via Dual-Head Optimization

AI 导读

针对半监督学习中利用视觉语言模型(VLM)能力时面临的监督与蒸馏损失梯度冲突问题,本文提出双头优化(DHO)方法,为不同信号引入独立预测头以缓解冲突。实验在 15 个数据集上验证了该方法能提升特征学习效果,使小模型学生网络超越教师模型表现,并在 ImageNet 半监督学习与分布外泛化任务中达到新状态最优。代码与检查点已公开。

推荐理由

提出双头优化方法解决监督与蒸馏损失间的梯度冲突,在多个数据集上超越单头基线并实现小模型优于教师模型的效果。

来源:arXiv · 机器人与计算机视觉 · arxiv.org