arXiv · 机器人与计算机视觉· Eric Tao, Minhao Sun, Liyan Liu, Zhijing Wu, Xiaohan Yu, Lang Mei, Li Huang, Chao Feng, Jinchao Ma, Sichen Kang, Siyu Mo, Chong Chen·· 29 天前精选AI 评分78
RACE:一种基于参照抽象与组合证据的多模态搜索学习框架
RACE: Learning Multimodal Search through Referential Abstraction and Compositional Evidence
AI 导读
针对多模态搜索代理训练中视觉线索被文本捷径弱化的问题,本文提出 RACE 框架,利用图像构建从目标到答案的任务依赖。该框架通过参照抽象(RA)将身份揭示性文本替换为视觉或关系引用,并通过组合证据(CE)将多实体事实链接为需要综合所有贡献才能回答的问题。
推荐理由
提出 RACE 框架,通过图像条件任务合成提升多模态搜索代理的视觉 grounding 能力。
来源:arXiv · 机器人与计算机视觉 · arxiv.org