跳到正文
arXiv · 机器人与计算机视觉· Hailun Xu, Kanchan Sarkar·· 2026-10-05精选AI 评分78

ViTok:利用 PHI-S 和掩码图像建模改进 AM-RADIO 风格的多教师蒸馏以增强稠密语义

ViTok: Improving Dense Semantics in AM-RADIO-Style Multi-Teacher Distillation with PHI-S and Masked Image Modelling

AI 导读

本文研究了如何将 ViTok 项目的进展整合进单一多教师蒸馏方案,以同时保留全局识别与稠密语义。研究基于从 SigLIP2 和 DINOv3-L 蒸馏出的学生模型,发现单纯优化 ImageNet-1K 分类精度会损害 ADE20K 分割性能。

推荐理由

本文总结了 ViTok 项目的多教师蒸馏经验,通过拆分适配头与掩码图像建模平衡全局识别与稠密语义,为未来迭代提供具体教训。

来源:arXiv · 机器人与计算机视觉 · arxiv.org