跳到正文
arXiv · 机器人与计算机视觉· Marc Chapus, Carlos Crispim-Junior, V\'eronique Eglin, Atilla Baskurt·· 29 天前AI 评分42

CountVideoBench:评估视频语言模型计数偏差的新基准

CountVideoBench: A Benchmark to Evaluate Prediction Biases on the Object Counting task by Video-Language Models

AI 导读

CountVideoBench 引入包含 2600 个合成视频的基准,覆盖 [5, 50] 区间共 26 种基数以消除小数值偏差。该基准在零样本设置下测试了来自九个架构家族的十六个视频语言模型,发现无一模型精确匹配率超过 27.6%。研究揭示模型准确率随基数变化呈现单调下降或非单调峰谷模式,且预测高度集中于特定整数偏好值。

来源:arXiv · 机器人与计算机视觉 · arxiv.org