跳到正文
arXiv · 机器人与计算机视觉· Divyanshu Mishra, Sabine Sternig, Rakshith Shetty, Erhan Gundogdu·· 14 天前AI 评分72

Grounding in the Dark:仅用文本训练实现零样本视频时序定位

Grounding in the Dark: Text-Only Training for Zero-Shot Video Temporal Localization

AI 导读

针对视频大模型依赖昂贵配对数据的问题,本文提出仅利用文本描述训练 LLM 以在推理时接收视频输入进行时序定位的方案。研究基于 Qwen3-8B 与 LoRA,在 Charades-STA 和 QV-Highlights 基准上验证了直接替换帧嵌入的模态差距,并提出了无需训练的 Nearest Entity Replacement (NER) 方法将 mtIoU 提升至 14.45 和 20.72。

来源:arXiv · 机器人与计算机视觉 · arxiv.org