跳到正文
arXiv · 机器人与计算机视觉· Xuezhen Tu, Jingyu Wu, Fangyu Kang, Qingpeng Nong, Kaijin Zhang, Chaoyue Niu, Fan Wu·· 4 小时前AI 评分55

Bridging Time and Space:面向视频定位的解耦时空对齐方法

Bridging Time and Space: Decoupled Spatio-Temporal Alignment for Video Grounding

AI 导读

针对多模态大模型在视频定位任务中面临的时空对齐纠缠与视觉令牌冗余挑战,提出 Bridge-STG 端到端框架。该框架通过显式时空语义桥接机制将时序推理上下文转化为鲁棒接口,并利用查询引导的空间定位模块驱动专用解码器以消除冗余。实验表明该方法在 VidSTG 基准上将平均 m_vIoU 从 26.4 提升至 34.3,并在多种细粒度视频理解任务中展现了强大的跨任务迁移能力。

来源:arXiv · 机器人与计算机视觉 · arxiv.org