arXiv · 机器人与计算机视觉· Ada Defne T\"ur, Gaurav Kamath, Joyce Chai, Siva Reddy, Benno Krojer·· 2026-10-19精选AI 评分78
NVRD:一种用于评估 VLM 与人类对新视觉概念映射能力的基准数据集
Would you still call this Dax? Novel Visual References in VLMs and Humans
AI 导读
论文提出 Novel Visual References Dataset (NVRD),包含 19,176 张图像,涵盖 90 个不同新颖度级别的视觉概念及扰动版本。研究对比了 3 款开源、2 款闭源模型与 2,400 名人类判断者,发现模型在违背预训练知识时难以通过上下文学习新概念,且存在显著过泛化现象,会将标签扩展至人类拒绝的样本。该数据集作为基准供人机视觉概念学习研究使用。
推荐理由
作者发布全新数据集 NVRD,用于评估模型在违背预训练知识时的新概念学习及泛化能力。
来源:arXiv · 机器人与计算机视觉 · arxiv.org