arXiv · 机器人与计算机视觉· Arun Josephraj Arokiaraj, Chenyi Huang, Zekun Wu, Adriano Koshiyama·· 2026-10-05AI 评分42
Qwen2.5-VL-7B-Instruct 内部自欺机制研究:视觉编码器腐蚀表征而语言解码器差异化仲裁
Corrupted but Correct: Why Vision-Language Models Lie to Themselves Internally
AI 导读
针对 Qwen2.5-VL-7B-Instruct 的对抗扰动实验显示,图像像素统计无法预测模型是否被腐蚀,且目标 token 在词表中的排名固定为 3,488。研究发现视觉编码器对所有图像均产生同等程度的表征腐蚀,而语言解码器则通过差异化仲裁放大或抑制该信号。结果表明自回归 VLM 的对抗鲁棒性主要取决于语言解码器的先验而非视觉编码器。
来源:arXiv · 机器人与计算机视觉 · arxiv.org