arXiv · 机器人与计算机视觉· Wenxin Su, Anna Kreshuk·· 17 天前精选AI 评分78
Open-Weight MLLMs Cannot Compare What They Cannot Name
Open-Weight MLLMs Cannot Compare What They Cannot Name
AI 导读
该研究调查了最先进的开源权重多模态大模型(MLLMs)在蚂蚁合成图像中比较身体部位大小的能力。结果显示,尽管视觉对比本身很简单,但模型对无法识别的身体部位会失败,因为无法识别的结构被关联到了可识别的语义概念上,导致定位和比较受损。研究分析了上下文学习策略并发现细粒度视觉结构缺乏语义支持时保存较差,表明当前 MLLMs 存在由语义识别限制简单视觉比较的局限。代码和数据已公开。
推荐理由
研究发现语义识别能力会阻碍简单的视觉比较任务,揭示了当前多模态大模型在生物图像分析中的底层局限。
来源:arXiv · 机器人与计算机视觉 · arxiv.org