跳到正文
arXiv · 机器人与计算机视觉· Zihu Wang, Karthik Somayaji N. S, Hejia Geng, Peng Li·· 22 天前精选AI 评分82

ReGuLaR:面向大视觉语言模型的关系 grounded 潜在推理框架

ReGuLaR: Relation-Grounded Latent Reasoning for Large Vision-Language Models

AI 导读

针对现有链式思维推理难以编码连续视觉证据的问题,本文提出 ReGuLaR 框架,利用训练时的 ReGFormer 聚焦问题相关物体与关系,在推理阶段无需调用该模块即可生成答案。研究构建了 RGROUNDING-351K 数据集以支持模型训练,并在多个基准测试中取得了优于现有方法的最先进性能。

推荐理由

提出基于关系的潜在推理框架 ReGuLaR,通过训练时显式建模物体关系提升大视觉语言模型的连续证据编码能力。

来源:arXiv · 机器人与计算机视觉 · arxiv.org