跳到正文
arXiv · 机器人与计算机视觉· Jun Huang, Junyang Zhang, Zijie Yue, Bingkun Wang, Yong Luo, Miaojing Shi·· 15 天前精选AI 评分80

超越 Token 表示:面向视频推理分割的显式视觉对象定位框架

Beyond Token Representations: Explicit Visual Object Grounding for Video Reasoning Segmentation

AI 导读

本文针对视频推理分割中现有方法依赖语义单调且空间模糊的分割 Token 的问题,提出了显式视觉对象定位框架。该方法利用多模态大语言模型生成并细化目标的边界框与点集提示,引入查询多样化模块从不同视角描述同一目标以缓解训练偏差,并结合基于关键帧的选择策略支持掩码解码。在八个数据集上的实验表明,该方法显著优于最先进方法。论文已被 NeurIPS 2026 接收,代码已开源。

推荐理由

提出显式视觉对象定位框架,通过空间感知提示与查询多样化解决语义单调问题。

来源:arXiv · 机器人与计算机视觉 · arxiv.org