跳到正文
arXiv · 机器人与计算机视觉· Reihaneh Zohrabi, Hosein Hasani, Akshita Gupta, Mahdieh Soleymani Baghshah, Anna Rohrbach, Marcus Rohrbach·· 9 天前AI 评分72

HaloProbe:一种用于视觉语言模型的物体幻觉贝叶斯检测与缓解方法

HaloProbe: Bayesian Detection and Mitigation of Object Hallucinations in Vision-Language Models

AI 导读

针对大视觉语言模型在图像描述中产生物体幻觉的问题,本文指出基于粗粒度注意力权重的检测方法不可靠,并引入 HaloProbe 框架。该方法通过平衡训练结合外部特征先验来估计令牌级幻觉概率,并将其作为非侵入式的外部评分信号用于解码干预。实验表明,HaloProbe 引导的解码在降低幻觉方面优于现有干预方法,同时保持了描述的工具性和语言流畅度。

来源:arXiv · 机器人与计算机视觉 · arxiv.org