跳到正文
热点事件持续更新

提出 VETO 方法抑制 VideoLLM 微调中的捷径学习

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

Youngwoo Shin 等人提出 Video-Evidence Training via Orthogonal projection (VETO) 方法,旨在解决视频大语言模型(VideoLLMs)在监督微调阶段易形成的文本捷径问题。该方法通过在激活空间对仅占用的文本子空间进行正交投影来干预更新过程。 据论文作者称,VETO 在七个 VideoLLM 上验证有效:既保留了训练分布内的微调增益,又在六个分布偏移基准测试中表现优于纯微调,促使模型基于完整输入作答。代码已开源。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv · 机器人与计算机视觉
    Video-Evidence Training via Orthogonal projection (VETO):抑制 VideoLLM 微调中的文本捷径

    视频大语言模型(VideoLLMs)在监督微调(SFT)阶段易学习绕过视频的文本捷径。本文提出 VETO 方法,通过在激活空间对仅占用的文本子空间进行正交投影来干预更新过程,从而抑制捷径形成。该方法在七个 VideoLLM 上验证有效:既保留了训练分布内的 SFT 增益,又在六个分布偏移基准测试中表现优于纯微调,促使模型基于完整输入作答。代码已开源。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。