arXiv · 机器人与计算机视觉· Zixuan Chen, Depeng Wang, Wei Chen, Ke Xu, Ya Guo, Huijia Zhu, Tanfeng Sun, Xinghao Jiang·· 2026-10-20AI 评分73
SAPO:一种提升视觉语言模型视频时序定位的自监督注意力策略优化方法
SAPO: Self-Supervised Attention Policy Optimization for Improving Temporal Video Grounding in Vision-Language Models
AI 导读
针对视觉语言模型在精确时序定位上的可靠性不足问题,研究团队发现模型内部注意力区间往往比预测时间戳更准确,存在‘时序生成差距’。为此提出 SAPO 方法,利用内部注意力作为自监督信号对 Group Relative Policy Optimization 进行优化,并采用无需真值的标准筛选高价值样本。实验表明该方法在多个数据集和不同规模的模型上均提升了相对 mIoU,且能保持视频理解能力。
来源:arXiv · 机器人与计算机视觉 · arxiv.org