arXiv · 机器人与计算机视觉· Yuanze Hu, Zhichao Yang, Junwei Jing, Xin Yang, Wenxuan Liu, Tinghai Zhang, Jia Fu, Hongzhi Zhang, Xiangyu Wu, Ruiming Tang, Tingting Gao, Han Li·· 27 天前精选AI 评分78
长描述在何处失效?基于位置感知的诊断与强化学习用于详细图像描述
Where Do Long Captions Fail? Position-Aware Diagnosis and Reinforcement Learning for Detailed Image Captioning
AI 导读
该研究指出自回归视觉语言模型生成的长描述存在位置性失效:中部易产生无依据的具体细节,尾部则转向模糊的非证据性语言。作者提出 PAGER 框架,通过位置感知 rubric 分解人类参考并验证生成内容,利用 GRPO 训练目标分别优化中位证据、尾部延续及长度控制。实验表明该方法在提升位置级定位与成对偏好排序的同时保持了全局描述质量。论文已被 NeurIPS 2026 接收。
推荐理由
提出位置感知诊断框架与强化学习目标,揭示长描述中位部幻觉与尾部泛化的不同失效模式。
来源:arXiv · 机器人与计算机视觉 · arxiv.org