跳到正文
arXiv · 机器人与计算机视觉· Xinrui Lin, Fan Li, Shumin Wang, Dehong Kong, Yanyong Zhang·· 2026-10-15AI 评分66

当成对偏好出现循环时:一种基于可靠性锚定的偏好游走用于视频 GRPO

When Pairwise Preferences Cycle: A Reliability-Anchored Preference Walk for Video GRPO

AI 导读

论文发现视频生成模型的强化学习中,成对比较图普遍存在且持续存在循环偏好,简单的平均胜率聚合会忽略这种结构并引入不可靠的优势估计。为此提出 Reliability-Anchored Preference Walk 方法,利用循环图中的可靠关系证据增强全局信号,在匹配评估器、协议及预算下无需额外查询即可优于 Pairwise-GRPO,并在受控比较、迁移设置和盲测中表现更好。

来源:arXiv · 机器人与计算机视觉 · arxiv.org