arXiv · 机器人与计算机视觉· Shreya Ajay Kale, Angad Ripudaman Singh Bajwa·· 6 天前精选AI 评分78
聚合准确率掩盖了医疗视觉语言模型中特定诊断的失效
Aggregate Accuracy Hides Diagnosis-Specific Failure in Medical Vision-Language Models
AI 导读
该研究审计了 MedGemma-4B、Lingshu-7B、HuatuoGPT-Vision-7B、Qwen2.5-VL-7B 和 MedVLM-R1 等五款开源医疗 VLM,在包含 6,048 个问题的 ChestX-ray14 数据集上发现,尽管模型能流利描述气胸体征,但在 432 张阳性 X 光片中零检出或仅部分检出。
推荐理由
审计显示五款医疗 VLM 在气胸检测上存在严重诊断特异性失效,内部表征正常但输出被抑制,仅靠聚合准确率无法评估真实能力。
来源:arXiv · 机器人与计算机视觉 · arxiv.org