跳到正文
arXiv · 机器人与计算机视觉· Wenshuai Zhao, Yihao Wang, Benjamin Robson, Juho Kannala, Arno Solin·· 16 天前AI 评分48

Learning to Look:一种基于自监督微调的视觉语言模型视野感知基础方法

Learning to Look: A Foundation for Visual Understanding

AI 导读

针对现有视觉语言模型(VLM)缺乏对可见区域感知的缺陷,研究提出 LOOK 任务以识别模型视觉输入中的可用部分。实验表明,未经微调的 VLM 无法定位可见区域,而通过该自监督任务微调后显著提升了模型对视觉输入的感知能力。该方法无需人工标注即可构建,为理解视觉内容提供了新的基础视角。

来源:arXiv · 机器人与计算机视觉 · arxiv.org