跳到正文
arXiv · 机器人与计算机视觉· Keuntae Kim, Dongjun Kim, Yong Suk Choi·· 3 天前精选AI 评分83

V-JEPA-LM:能读取动态信息的视频语言模型

V-JEPA-LM: Video-Language Models That Read Dynamics Beyond Static, Text-Aligned Representations

AI 导读

针对现有视频语言模型仅检索静态属性而忽略动态信息的局限,本文提出 V-JEPA-LM 架构。研究证明动态信息存在于预测编码器的子空间中,并通过像素变换构建反事实监督数据,使语言模型在单阶段训练中即可读取速度等动态特征。

推荐理由

该文提出利用反事实监督让语言模型读取视频编码器中未被利用的动态信息,在单阶段训练中于多项基准测试中超越现有开源模型。

来源:arXiv · 机器人与计算机视觉 · arxiv.org