跳到正文
arXiv · 机器人与计算机视觉· Sihao Ding, Santosh Vasa, Aditi Ramadwar, Thomas Monninger·· 12 小时前AI 评分75

通过解释驱动的对抗性测试揭示 VLM 的忠实度缺口

Uncovering Faithfulness Gaps in VLMs via Explanation-Driven Counterfactual Testing

AI 导读

该研究提出 Explanation-Driven Counterfactual Testing (EDCT) 协议,通过提取模型解释中的视觉概念并进行验证后的最小编辑,测试回答与解释是否仍与修改后的图像一致。作者构建了涵盖知识密集型问答、安全关键驾驶和三维空间推理三个领域的 EDCT-Bench 基准。评估显示现有 VLM 存在显著的忠实度缺口,且基于此生成的对抗样本可作为高效的微调训练信号。

来源:arXiv · 机器人与计算机视觉 · arxiv.org