arXiv · 机器人与计算机视觉· Xi Weng, Zhaoyu Liu, Lianyu Hu, Jin Song Dong·· 23 天前AI 评分68
掩码块自蒸馏中的局部性权衡分析
The Locality Trade-off in Masked Patch Self-Distillation
AI 导读
该研究分析了现代视觉基础模型中掩码块自蒸馏对局部视觉信息的影响,发现其语义收益可与依赖规模的局部性成本共存。通过无标注诊断区分了可恢复的局部外观与空间对应关系,表明在小模型中添加 iBOT 会削弱块对应但保留外观解码能力,而在大模型中像素和纹理证据在深层特征中的线性可访问性降低。
来源:arXiv · 机器人与计算机视觉 · arxiv.org