arXiv · 机器人与计算机视觉· Siqu Ou, Tianrui Wan, Zhiyuan Zhao, Junyu Gao, Xuelong Li·· 23 天前精选AI 评分78
Do MLLMs Really See It: Reinforcing Visual Attention in Multimodal LLMs
Do MLLMs Really See It: Reinforcing Visual Attention in Multimodal LLMs
AI 导读
论文指出当前多模态大语言模型存在早期视觉失准且难以在推理中修正的问题,导致错误传播。为此提出 SAYO 框架,利用强化学习引入区域级视觉注意力奖励,使优化信号与视觉 grounded 的推理步骤对齐。实验表明该方法在多个基准测试中提升了模型的推理与感知性能。项目代码已开源。
推荐理由
提出 SAYO 框架,通过区域级视觉注意力奖励解决多模态大模型的早期视觉失准与错误传播问题。
来源:arXiv · 机器人与计算机视觉 · arxiv.org