arXiv · 机器人与计算机视觉· Hyuk Kwon, Jaebyeong Jeon, Hyeonseo Jang, Kibok Lee·· 23 天前AI 评分45
Good Rankings, Poor Choices? Rethinking Language-Only Vision-Language Model Selection
Good Rankings, Poor Choices? Rethinking Language-Only Vision-Language Model Selection
AI 导读
针对仅用文本信息选择视觉语言模型(VLM)的评估协议,研究指出排名指标无法直接反映选定模型性能。新方法 Target-Conditioned Expected Source Regret (TC-ESR) 在 22 个目标任务和 43 个 VLM 上实现了最低的均后悔值与异常鲁棒归一化后悔值。此外,研究修正了先前协议中导致目标性能泄露的两个来源。
来源:arXiv · 机器人与计算机视觉 · arxiv.org