跳到正文
arXiv · 机器人与计算机视觉· Sohyeon Kim, Sang Yeon Yoon, Kyeongbo Kong·· 9 天前AI 评分68

Focus Matters:利用注意力价值动态高效缓解视觉语言模型中的幻觉

Focus Matters: Attention-Value Dynamics for Efficient Hallucination Mitigation in Vision-Language Models

AI 导读

针对大视觉语言模型(LVLMs)易产生物体幻觉的问题,本文从视觉编码器内部的注意力价值动力学角度进行研究。研究发现,在扩散、聚焦和重扩散三阶段中,聚焦阶段对低注意力 token 的价值内容最敏感。

来源:arXiv · 机器人与计算机视觉 · arxiv.org