跳到正文
arXiv · 机器人与计算机视觉· Dosung Lee, Sangwon Jung, Boyoung Kim, Minyoung Kim, Sungyeon Kim, Junyoung Sung, Wonpyo Park, Paul Hongsuck Seo·· 2 天前AI 评分62

打破多模态知识型视觉问答中的视觉捷径:RETINA 基准与 MIMIR 检索器

Breaking the Visual Shortcuts in Multimodal Knowledge-Based Visual Question Answering

AI 导读

针对现有多模态知识型视觉问答(MKB-VQA)基准普遍存在的‘视觉捷径’问题,作者构建了 RETINA 新基准和 MIMIR 多图像多模态检索器。该基准通过 LLM 驱动流程自动构建,包含 120k 训练集和 2k 人工 curated 测试集,专门引入次要主体(相关实体)的图文对以消除捷径依赖。

来源:arXiv · 机器人与计算机视觉 · arxiv.org