arXiv · 机器人与计算机视觉· Chanseul Cho, Noori Bae, Dongheon Lee, Youngmin Ro·· 17 天前精选AI 评分78
GRIT:文本丰富推理中针对视觉误读 token 的梯度掩码方法
GRIT: Gradient Masking for Visually Misgrounded Tokens in Text-Rich Reasoning
AI 导读
论文指出强化学习可验证奖励(RLVR)在文本丰富推理任务中存在正确但视觉误读(CVMR)现象,导致模型虽得正确答案却未真正理解图像。作者提出 GRIT 框架,利用 token 级注意力模式差异对视觉误读进行梯度掩码,提升推理准确性与 grounding 保真度。
推荐理由
提出 GRIT 框架将视觉 grounding 引入 RLVR,缓解中间步骤误读问题,并配套发布 GRIT-Bench 评测基准。
来源:arXiv · 机器人与计算机视觉 · arxiv.org