arXiv · 机器人与计算机视觉· Shiye Su, Xiaohan Wang, Ludwig Schmidt, Serena Yeung-Levy·· 3 天前AI 评分75
重新思考文本到图像奖励建模中的视觉推理
Rethinking Visual Reasoning in Text-to-Image Reward Modeling
AI 导读
该论文发现现有奖励模型在视觉推理任务上表现不佳,且微调会削弱其能力。作者提出一种数据干预方法,通过翻转配对轴将现有视觉推理数据集转化为偏好对,与常规人类偏好数据混合训练。实验表明该方法实现了帕累托改进,在 GenEval 基准测试中,相比基于六倍更多偏好对训练的 HPSv3,模型在推理时最佳 n 选择和强化学习后训练任务上的表现分别提升了 4.0% 和 5.5%。
来源:arXiv · 机器人与计算机视觉 · arxiv.org