arXiv · 机器人与计算机视觉· Tina Khezresmaeilzadeh, Seyedarmin Azizi, Mehdi Kamal, Massoud Pedram·· 10 天前精选AI 评分78
通过概念注入探测视觉语言模型的现实监控能力
Did I See It or Think It? Probing Reality Monitoring in Vision-Language Models with Concept Injection
AI 导读
本文提出一种范式,独立变化图像内容与注入的概念方向,测试视觉语言模型能否区分所见图像与注入思想。实验显示,在六种 VLM 中仅有 Gemma-3-27B 能可靠识别注入概念,但报告来源仍不稳定;强注入或视觉路径激活常被误报为看见,且真实照片中注入物体出现在高达 87% 的普通描述里。该研究强调评估多模态自我报告需同时检查内容及其声称的来源。
推荐理由
该研究揭示了多模态模型在区分注入概念与真实图像内容时的脆弱性,指出仅凭生成文本无法可靠评估其内部状态。
来源:arXiv · 机器人与计算机视觉 · arxiv.org