跳到正文
arXiv · 机器人与计算机视觉· Zhaoning Zhang·· 2 天前精选AI 评分76

Seen but Unsaid:定位并修复视觉语言模型中的跨图像比较问题

Seen but Unsaid: Locating and Repairing Cross-Image Comparison in Vision-Language Models

AI 导读

论文指出视觉语言模型在跨图像匹配点或物体时常失败,即便答案隐含在隐藏状态中。研究在 Qwen3-VL、InternVL3.5 和 Gemma-3 等模型上验证了两种失效机制:一是携带比较信息的注意力头未将答案读出,二是语义对应存在于视觉 token 但未传递至输出层。

推荐理由

研究发现跨图像比较失败源于特定注意力头未读出答案,通过重分布注意力或微调查询键投影即可修复。

来源:arXiv · 机器人与计算机视觉 · arxiv.org