跳到正文
arXiv · 机器人与计算机视觉· Abdulaziz Alqahtani, Alwaleed Alharthi, Muzammil Behzad·· 2 天前AI 评分68

超越看见:缓解视觉语言模型幻觉的细粒度偏好验证与严重性感知对齐

Beyond Seeing: Fine-Grained Preference Validation and Severity-Aware Alignment for Mitigating Visual Hallucinations in Vision-Language Models

AI 导读

该论文研究了针对视觉语言模型的幻觉缓解对齐流程,利用 16,143 条归一化反馈记录和 8,386 对偏好数据进行实验。研究对比了直接训练、零样本及两样本判定的严重性间隔变体,结果显示零样本变体将 Object HalBench CHAIRs 从 53.00 降至 36.00,AMBER-Hal 分数显著下降且视觉覆盖减少,同时基模型保留了最高的有效 POPE 对抗 F1 值。

来源:arXiv · 机器人与计算机视觉 · arxiv.org