arXiv · 机器人与计算机视觉· Yanlin Chen, Tang Li, Xi Peng·· 8 天前AI 评分51
VIGOR:评估多模态大语言模型视觉推理正确性的基准
VIGOR: Benchmarking Visual Rationale Correctness in Multimodal Large Language Models
AI 导读
本文介绍 VIGOR 基准,用于评估多模态大语言模型(MLLMs)的视觉推理正确性。该基准将视觉推理表示为与像素级定位配对的显式概念,涵盖从低级属性到高级运动关系的多层抽象。作者开发了自动标注框架以构建大规模数据,并通过对比模型生成的视觉证据与真实标注,发现当前 MLLMs 在视觉推理正确性上存在局限及不同层级下的定位失败现象。代码已开源。
来源:arXiv · 机器人与计算机视觉 · arxiv.org