arXiv · 机器人与计算机视觉· Ahmad Jarjis Hasan, Jonathan Lwowski·· 16 天前AI 评分51
Same Outputs, Different Scores: Auditing the Unchecked Graders of Multimodal LLM Benchmarks
Same Outputs, Different Scores: Auditing the Unchecked Graders of Multimodal LLM Benchmarks
AI 导读
该研究复现了八个同行评审多模态基准在五个开放视觉语言模型上的官方评分器,发现仅凭评分规则即可使相同输出的准确率波动高达22个百分点。作者引入盲审人机联合裁决(Cohen's kappa=0.956)以还原模型真实回答,指出当前单一评分标准不可靠:非合规输出会被错误匹配、弃权会丢弃有效文本答案、似然度评分混淆能力与运气。
来源:arXiv · 机器人与计算机视觉 · arxiv.org