跳到正文
arXiv · 机器人与计算机视觉· Jiacheng Ding, Yanliang Qi, Cong Guo, Peihua Mai·· 16 天前精选AI 评分78

See, Think, Use:诊断 VLM 感知与推理失败的协议

See, Think, Use: Diagnosing Perception and Reasoning Failures in VLMs

AI 导读

作者提出 See, Think, Use 协议,用于追踪视觉语言模型的每个回答是源于感知、推理还是利用感知信息。该协议通过定位探针和文本替换探针测量“看”与“想”,并利用反事实图像对计算“用”的比率。在两个模型家族和六个数据集上验证显示,当模型回答违背常识先验时,强制其先进行定位可修复此类失败;按阶段分配计算资源能以更低成本接近最佳均匀策略。作者将开源代码、提示词及每问输出。

推荐理由

该协议通过额外提问诊断 VLM 的感知与推理失败阶段,无需访问模型权重即可指导测试时计算分配。

来源:arXiv · 机器人与计算机视觉 · arxiv.org