跳到正文
arXiv · 机器人与计算机视觉· Yuan Wang, Wei Wu, Hongning Wang·· 20 天前精选AI 评分82

思考型 VLM 的细粒度感知:局部化 - 头部对齐

Look at Where You Think: Localization-Head Alignment for Fine-Grained Perception in Thinking VLMs

AI 导读

针对思考型视觉语言模型在高分辨率图像中遗漏细节的问题,研究提出利用注意力头作为训练信号的对齐方法。该方法让模型在学习推理陈述视觉事实时,将注意力聚焦于关键区域而非背景,从而提升细粒度感知准确率。

推荐理由

提出利用注意力头作为训练信号的对齐方法,在无需多轮推理的情况下提升细粒度视觉任务准确率。

来源:arXiv · 机器人与计算机视觉 · arxiv.org