UniVOE:一种面向交互感知的通用视频对象编辑的移除驱动框架
该论文提出了 UniVOE 框架,旨在统一训练视频对象移除和注入模型。方法首先利用视频修复先验训练一个感知效果的移除器,将含物视频转换为无物版本以构建大规模配对监督数据;随后在反向方向上训练注入模型以恢复物体及其动态与交互效果;最后引入基于奖励的后训练方法对齐人类偏好。实验表明该框架在对象移除和注入任务上均达到最先进水平,尤其在处理复杂的交互效应方面表现突出。
推荐理由:提出以移除驱动的统一框架,利用视频修复先验解决注入任务的大规模配对监督难题,在交互效应场景下达到开源与商业系统领先水平。