arXiv · 机器人与计算机视觉· Anat Veikherman, Mor Ventura, Nitay Calderon, Lihi Zelnik-Manor, Roi Reichart·· 28 天前精选AI 评分82
编码但未使用:界定 VLM 错误的来源
Encoded but Unused: Bounding the Sources of VLM Errors
AI 导读
本文研究视觉语言模型(VLM)产生错误的原因,将其分解为视觉表征失败和视觉利用失败两类。作者提出了基于排名的 VELens 探针,用于追踪目标对象及其属性在模型各层的视觉证据,并估计视觉利用失败率。实验显示,该方法能准确诊断错误来源,发现视觉利用不足是 VLM 的主要瓶颈,建议未来改进方向在于开发更好的机制来定位、路由和使用已编码的视觉信息。
推荐理由
提出 VELens 探针量化 VLM 错误来源,发现视觉利用不足是主要瓶颈。
来源:arXiv · 机器人与计算机视觉 · arxiv.org