跳到正文
arXiv · 机器人与计算机视觉· Haisheng Fu, Gexin Huang, Haikai Zhao, Jie Liang, Zhenman Fang, Jingning Han, Xiaoxiao Li·· 14 小时前AI 评分58

Bits, Not Boxes: 视觉语言模型中无标签层的视觉定位方法

Bits, Not Boxes: Label-Free Layer Selection for Visual Localization in VLMs

AI 导读

论文提出 WhereBits 方法,通过对比问题与通用提示来抑制注意力汇合现象,利用未标注问题的注意力位图变化区分定位相关层与无效层。该方法在八个 VLM 上匹配了基于框调优层的指向精度(COCO 为 0.72),并在无训练放大裁剪任务中提升了准确率。

来源:arXiv · 机器人与计算机视觉 · arxiv.org