arXiv · 机器人与计算机视觉· Siming Fu, Ruizhe He, Zheming Fu, Zeyue Xue, Fengkai Liu, Yufei Jiao, Jie Huang, Xiaoxiao Ma, Xuan Yang, Lihui Luo·· 9 天前AI 评分72
GenRM-Flow:生成器即流匹配中的过程感知奖励模型
GenRM-Flow: Generators are Process-aware Reward Models in Flow Matching
AI 导读
本文提出 GenRM-Flow 框架,论证视频生成模型的微调目标(如 DPO、RWR)在数学上等价于利用生成器的速度预测误差作为奖励信号。该框架使偏好调优后的生成器直接在噪声潜空间充当过程感知奖励模型,无需依赖外部视觉语言模型或辅助评分头。理论分析表明不同优化路径均指向同一最优策略,且提取的过程奖励可无缝替代 FlowAWR 中的外部评分器,从而在不增加额外网络的情况下提升下游视频生成效果。
来源:arXiv · 机器人与计算机视觉 · arxiv.org