arXiv · 机器人与计算机视觉· Zhiran Luo, Zhiyong Yang, Zitai Wang, Sicong Li, Qianqian Xu, Qingming Huang·· 23 天前AI 评分58
OODConceptBench:评估 VLM 开放世界概念识别能力的分层基准
What Remains OOD? OODConceptBench for Open-World Concept Recognition in Vision-Language Models
AI 导读
作者提出 OODConceptBench 这一包含 30,752 张图像的分层基准,用于测试视觉语言模型对开放世界概念的零样本识别能力。评测涵盖 560 个概念短语及七个类别,结果显示所有 37 款模型在更难子集上的表现均低于主集,且新发布模型并未必然提升特定类别的泛化效果,表明 OOD 问题仍是当前挑战。
来源:arXiv · 机器人与计算机视觉 · arxiv.org