arXiv · 机器人与计算机视觉· Yuji Nozawa, Yu-Chieh Lin, Youyang Ng·· 9 天前AI 评分68
训练 Vision Transformer 以聚焦:空间注意力头的涌现与专业化
Training Vision Transformers to Focus: Emergence of Spatial Attention Head Specialization
AI 导读
针对自监督学习的 Vision Transformer 缺乏聚焦机制导致感知表征模糊的问题,作者提出两种无需标注的视觉聚焦损失函数,利用多头注意力机制引导模型关注特定图像区域。该方法促使注意力头出现空间专业化分工,显著提升了空间选择性和多样性,并在零样本图像分割等密集预测任务上改善了可解释性与性能。论文已被 NeurIPS 2026 接收。
来源:arXiv · 机器人与计算机视觉 · arxiv.org