跳到正文
arXiv · 机器人与计算机视觉· Youngwoo Shin, Jongsuk Kim, Junmo Kim·· 4 小时前AI 评分75

Video-Evidence Training via Orthogonal projection (VETO):抑制 VideoLLM 微调中的文本捷径

Suppressing the Shortcut Hidden Behind the Gains of VideoLLM Fine-Tuning

AI 导读

视频大语言模型(VideoLLMs)在监督微调(SFT)阶段易学习绕过视频的文本捷径。本文提出 VETO 方法,通过在激活空间对仅占用的文本子空间进行正交投影来干预更新过程,从而抑制捷径形成。该方法在七个 VideoLLM 上验证有效:既保留了训练分布内的 SFT 增益,又在六个分布偏移基准测试中表现优于纯微调,促使模型基于完整输入作答。代码已开源。

来源:arXiv · 机器人与计算机视觉 · arxiv.org