arXiv · 机器人与计算机视觉· Ruining Hu, Jiaqi Lu, Xiao Liu, Ying Shen, Yu Wang, Lin Zhang·· 9 天前精选AI 评分78
HALMES:何时干预以缓解 LVLM 幻觉
HALMES: Knowing When to Intervene in LVLM Hallucination Mitigation
AI 导读
论文提出了 HALMES,这是一个轻量级即插即用模块,旨在解决大视觉语言模型(LVLM)输出中常见的物体幻觉问题。研究分析了内部注意力特征与幻觉片段的关系,发现幻觉相关异常在生成过程中会逐步显现。
推荐理由
提出 HALMES 模块,通过分析注意力特征识别幻觉前兆并仅在必要时触发对比解码,在提升现有方法性能的同时减少了对正常生成的干扰。
来源:arXiv · 机器人与计算机视觉 · arxiv.org