跳到正文
arXiv · 机器人与计算机视觉· Ziyue Wang, Shiqi Huang, Weiwen Xu, Bihan Wen, Xudong Jiang·· 14 小时前AI 评分65

Video-OPSD:利用特权视觉证据进行视频大语言模型的同策略自蒸馏

Video-OPSD: Exploiting Privileged Visual Evidence for On-Policy Self-Distillation in Video Large Language Models

AI 导读

该论文提出 Video-OPSD 框架,解决视频大语言模型(Video-LLMs)同策略自蒸馏(OPSD)中特权信息利用不足的问题。该方法仅在标注的证据帧上构建教师模型,而学生模型在包含证据的更宽泛帧集上进行推理,确保监督信号不引入学生无法访问的内容;同时通过证据引导的 token 优化自适应加权蒸馏过程,强调基于感知的推理。

来源:arXiv · 机器人与计算机视觉 · arxiv.org