arXiv · 机器人与计算机视觉· Federico Felizzi, Francesco Andrea Causio, Bianca Destro Castaniti, Olivia Riccomi, Michele Ferramola, Vittorio De Vita, Alessandro Tosi, Antonio Cristiano, Alessia Longo, Lorenzo De Mori, Chiara Battipaglia, Melissa Sawaya, Luigi De Angelis, Marcello Di Pumpo, Alessandra Piscitelli, Pietro Eric Risuleo, Giulia Vojvodic, Mariapia Vassalli, Nicolo Scarsi, Manuel Del Medico·· 23 天前精选AI 评分78
无证据下的确信:视觉锚定对医疗视觉 - 语言模型判决稳定性的影响无关紧要
Conviction Without Evidence: Verdict Stability Is Independent of Visual Grounding in Medical Vision--Language Models
AI 导读
该论文研究了医疗视觉 - 语言模型在缺乏诊断图像时维持正确诊断的能力,并测试了这种‘无锚定’状态是否会导致模型结论更脆弱。研究者在意大利国家考试题目上进行了图像替换实验,施加两种对抗压力(L4 和 L1),发现无论有无真实图像,模型推翻自身判决的比例差异极小且方向相反。
推荐理由
该研究通过对抗性压力测试发现,医疗视觉语言模型在缺乏图像证据时仍能维持诊断结论的稳定性,表明‘确信度’无法作为判断模型是否真正利用视觉信息的可靠信号。
来源:arXiv · 机器人与计算机视觉 · arxiv.org