跳到正文
arXiv · 机器人与计算机视觉· Shilong Li, Xingyuan Bu, Hao Shi, Yun Xing, Weixin Feng, Qiangpeng Yang, Shilei Wen·· 22 天前精选AI 评分82

VideoLVR:基于 grounded 视频证据的潜在视觉推理

VideoLVR: Latent Visual Reasoning over Grounded Video Evidence

AI 导读

论文指出语言链式思维导致多模态大模型无法可靠回溯视觉证据,从而引发视觉遗忘。为此提出 VideoLVR,从相关视频时刻构建局部区域的潜在视觉证据,将视觉 token 重构作为词汇表预测任务,统一了视觉证据重建与文本生成框架。该方法支持在推理过程中高效整合不同时刻的视觉信息,并通过强化学习联合优化策略。实验表明其在需要细粒度视觉证据的任务上有效,且未显著扩展多模态上下文。

推荐理由

该工作提出 VideoLVR,通过潜在视觉证据重构与强化学习优化,解决多模态大模型在推理过程中的视觉遗忘问题。

来源:arXiv · 机器人与计算机视觉 · arxiv.org