跳到正文
arXiv · 机器人与计算机视觉· Zujing Liu, Junwen Pan, Qi She, Yuan Gao, Guisong Xia·· 17 天前精选AI 评分78

On the Faithfulness of Visual Thinking: Measurement and Enhancement

On the Faithfulness of Visual Thinking: Measurement and Enhancement

AI 导读

该研究指出强化微调后的大视觉语言模型在多模态思维链中常出现视觉信息不准确但答案正确的现象,归因于奖励机制仅激励格式而忽视正确性。作者提出一种无需标注的 SCCM 学习方法,鼓励生成充分且独立的视觉组件以支持推理,并在多个感知与推理基准上显著提升了视觉忠实度。代码已开源。

推荐理由

针对大模型多模态思维链中视觉信息不准确的问题,提出无需标注的 SCCM 学习方法以增强视觉证据的充分性与独立性。

来源:arXiv · 机器人与计算机视觉 · arxiv.org