arXiv · 机器人与计算机视觉· Zhifang Zhang, Qiang Huang, Chenpeng Wang, Weitong Chen, Olaf Maennel, Wei Emma Zhang, Lei Feng, Lei Zhang, Miao Xu·· 16 天前精选AI 评分78
Context-Shielded Backdoor Attack against Large Vision-Language Models
Context-Shielded Backdoor Attack against Large Vision-Language Models
AI 导读
该论文揭示了大型视觉语言模型(LVLMs)在推理时使用视觉标记压缩时,传统后门会被激活而暴露风险。作者提出 StripWake 项目器仅后门方案,通过配对清洁监督与随机压缩视图并冻结良性教师对齐早期注意力,实现在全标记审计下保持低攻击成功率而在未见过的压缩器中高效触发,且无 CIDEr 损失。
推荐理由
揭示大模型推理压缩会激活潜伏后门,提出 StripWake 方法在审计时保持休眠而在压缩后触发。
来源:arXiv · 机器人与计算机视觉 · arxiv.org