跳到正文
arXiv · 机器人与计算机视觉· Reem Alzahrani, Bushra Bin Hemid, Hassan Alshanqiti, Zaid Alyafeai, Paul Gavrikov, Bernard Ghanem, Abdelrahman Eldesokey·· 29 天前AI 评分35

CounterCount:诊断视觉语言模型计数属性中的知识偏差

CounterCount: Diagnosing Knowledge Bias in How Vision-Language Models Count Attributes

AI 导读

CounterCount 是一个包含事实与反事实图像对的诊断数据集,用于揭示视觉语言模型(VLM)过度依赖先验知识而非视觉信息的偏差。在 16 个模型(含 14 个开源权重和 2 个闭源)的测试中,平均准确率从事实图像的 91.6% 降至反事实图像的 49.5%,主要错误源于匹配标准计数数的回答。

来源:arXiv · 机器人与计算机视觉 · arxiv.org