arXiv · 机器人与计算机视觉· Yifan Wang, Yanyu Li, Gordon Guocheng Qian, Sergey Tulyakov, Yun Fu, Anil Kag·· 15 天前精选AI 评分83
Diffusion-DRF:一种用于视频扩散微调的自由、丰富且可微分的奖励框架
Diffusion-DRF: Free, Rich, and Differentiable Reward for Video Diffusion Fine-Tuning
AI 导读
论文提出了 Diffusion-DRF 框架,旨在解决视频扩散模型微调中依赖标量奖励导致的优化不稳定和奖励黑客问题。该方法利用冻结的预训练视觉语言模型作为评论器,将用户提示分解为多维度的自由形式 VQA 解释查询以获取丰富反馈,并通过直接可微分优化实现无需偏好数据集的稳定奖励基线调整。实验显示该框架在未见过的 VBench-2.0 基准上整体性能超越最先进方法 Flow-GRPO 4.74%。
推荐理由
该工作提出无需偏好数据集的差异化奖励框架,在视频扩散微调任务上实现稳定优化并超越现有基线。
来源:arXiv · 机器人与计算机视觉 · arxiv.org