跳到正文
arXiv · 机器人与计算机视觉· Yueying Li, Jingxuan Fan, Kiant\'e Brantley, Sham M. Kakade, Hanlin Zhang·· 2026-10-12AI 评分42

Unsupervised Multimodal Reward Modeling:无需标注的视觉语言奖励模型新方法

Unsupervised Multimodal Reward Modeling

AI 导读

该方法在冻结的 Qwen3-VL 骨干网络中间层构建线性头,仅需数千参数即可在 VL-RewardBench 基准上领先 GPT-4o 6.6 分。相比 curated RLAIF-V 对,扰动数据以同等预算使冻结头多学 3 至 5 分;重训后幻觉降低 5.1 CHAIR 点且图像生成通过率提升 5.4%。该方案无需标注者,成本仅为微调的千分之一,由比较而非基准排名定义奖励。

来源:arXiv · 机器人与计算机视觉 · arxiv.org