跳到正文
arXiv · 机器人与计算机视觉· Denis Degtiarev, Anna Gromova, Sergey Katkov, Artem Mikhailin, Safina Mukhamedshina, Albert Nasybullin, Karina Shaikhutdinova, Artem Tuzov·· 2026-10-12精选AI 评分78

对现有 VLM 基准评估运行的审计:揭示图像依赖度不足与评分偏差

Auditing VLM Benchmarks from Existing Evaluation Runs

AI 导读

该研究提出一种审计框架,复用 VLM 评估运行中已生成的预测、正确性及元数据工件,通过 VLMEvalKit 新增的六个检测器及纯文本重跑层进行后处理分析。在 MMStar 基准上发现,20.2%的问题无需图像即可达到零准确率增益,其中数学与科学类别存在显著偏差;另有 134 个问题因所有模型均选择同一非标准答案而引发评分争议。

推荐理由

作者利用现有评估运行产生的原始工件,为 VLMEvalKit 新增审计层以检测基准缺陷与评分偏差。

来源:arXiv · 机器人与计算机视觉 · arxiv.org