arXiv · 机器人与计算机视觉· Tongkun Guan, Zhibo Yang, Mingkun Yang, Haocheng Wang, Wei Shen, Xiaokang Yang·· 22 天前AI 评分58
PerceptRL:让 MLLM 视觉感知可被奖励(从答案到交互)
PerceptRL: Making Visual Perception Rewardable in MLLMs from Answers to Interactions
AI 导读
针对多模态大语言模型后训练阶段视觉感知仍是瓶颈的问题,该研究提出 PerceptRL 框架以强化感知能力。该方法利用多智能体流水线从密集图像描述中提取验证错误,将其转化为具有固定答案标签和基于规则奖励的问答对;通过链式问答关联相关错误,多项选择题结合无关错误,并针对高错误域设置专用路由。
来源:arXiv · 机器人与计算机视觉 · arxiv.org