跳到正文
arXiv · 机器人与计算机视觉· Jiahao Nie, Wenbin An, Gongjie Zhang, Yicheng Xu, Yap-Peng Tan, Alex C. Kot, Shijian Lu·· 15 天前AI 评分73

基于整体事件感知的视频大语言模型时序定位方法

Temporal Grounding of Video Large Language Model via Holistic Event Perception and Matching

AI 导读

针对视频大语言模型在查询事件精确时间片段定位上的挑战,本文提出一种新的时序定位 Vid-LLM。该方法设计特殊<evt>token聚合多帧信息以保留语义连续性,引入 Savitzky-Golay 平滑抑制噪声并提升预测精度,同时聚合多粒度特征补偿压缩损失。实验表明该方法在主流基准上表现优异,尤其在单事件定位和边界完整性任务上改进显著。

来源:arXiv · 机器人与计算机视觉 · arxiv.org