跳到正文
arXiv · 机器人与计算机视觉· Ling Lin, Heng Su, Xiangzeng Liu, Yang Bai, Congcong Zhu, Jingrun Chen·· 12 小时前AI 评分42

ContraSense:超越常识偏见的视觉语言理解基准评测

Can Vision-Language Models Truly Understand Images? A Benchmark Beyond Commonsense Bias

AI 导读

针对现有基准依赖常识先验的问题,研究团队构建了ContraSense基准,通过反直觉图文对强制模型基于视觉证据推理。在包含开源与闭源多模态大模型的全面评估中,最强闭源模型准确率仅约60%,而人类参与者达到96.04%。该结果揭示了当前MLLMs在忠实视觉理解上的不足,ContraSense基准已公开提供。

来源:arXiv · 机器人与计算机视觉 · arxiv.org