arXiv · 机器人与计算机视觉· Junzhe Chen, Tian Qin, Eugenie Shi, Tianshu Zhang, Qiang Ju, Lijie Wen·· 15 天前精选AI 评分76
VIGOR:一种用于缓解多模态离散扩散语言模型幻觉的视觉增益排序方法
VIGOR: Visual Gain Ordering for Hallucination Mitigation in Multimodal Discrete Diffusion Language Models
AI 导读
针对多模态离散扩散语言模型在迭代去噪过程中因过早依赖语言先验而产生幻觉的问题,本文提出了一种无需训练的推理策略 VIGOR。该方法通过对比原始图像条件化与视觉消融条件下的候选 token 置信度差异,优先处理受图像证据支持更强的位置,从而减少早期承诺对后续生成的偏差。
推荐理由
提出无需训练的推理策略 VIGOR,通过重排掩码位置顺序来缓解多模态离散扩散语言模型的幻觉问题。
来源:arXiv · 机器人与计算机视觉 · arxiv.org