跳到正文
arXiv · 机器人与计算机视觉· Siran Dai, Qianqian Xu, Peisong Wen, Yang Liu, Xiaochun Cao, Qingming Huang·· 27 天前AI 评分75

CODI:通过跨蒸馏改进自监督视觉 Transformer

CODI: Improving Self-Supervised Vision Transformers with Cross Distillation

AI 导读

该研究指出自监督 Vision Transformers 的类标记虽能集中全局语义,但密集预测常受限于低注意力区域。为此,作者提出 Cross Distillation (CODI),在不改变架构的前提下,将少量教师类标记分布混合到每个教师块标记目标中,为掩码块提供与注意力无关的语义修正。实验表明,在对齐预训练设置下,该方法同时提升了密集和图像级性能。代码已开源。

来源:arXiv · 机器人与计算机视觉 · arxiv.org