跳到正文
arXiv · 机器人与计算机视觉· Qiuyi (Richard), Zhang, Zhen Xu, Jing Gu, Seojin Bang, Arnav Mohanty Das, Yaning Hu, Gautam Kumar, Jared Lichtarge, Le Xue, Bettina Catoto, Akul Datta, Daniel Luo, Farha Khan, Marcella Valentine, Yinfei Yang, Andrew M. Dai·· 23 天前AI 评分42

DecoyCount:评估视觉推理对齐偏差的基准测试

DecoyCount: Evaluating Visual-Reasoning Misalignment in Counting

AI 导读

DecoyCount 基准基于 1,660 张含诱饵的真实图像,揭示前沿模型计数准确率低于 50%,且存在 11.8-22.1 个百分点的对齐差距。研究发现更强的通用推理能力、更大的思考预算及智能体过程反而加剧该偏差。研究证实仅靠文本提示无法弥合人类视觉期望与模型输出间的剩余缺陷。

来源:arXiv · 机器人与计算机视觉 · arxiv.org