跳到正文
arXiv · 机器人与计算机视觉· Hao Yang, Zhuo Ma, Yang Liu, Yilong Yang, Guancheng Wang, JianFeng Ma·· 23 天前AI 评分70

一种针对大视觉语言模型的跨模态提示注入攻击方法

A Cross-Modal Prompt Injection Attack against Large Vision-Language Models with Image-Only Perturbation

AI 导读

论文介绍了一种名为 CrossMPI 的新型跨模态提示注入攻击方法,该方法仅需通过图像输入即可同时操控大视觉语言模型对文本和视觉内容的理解。研究将优化空间从视觉嵌入层转移至模型隐藏状态层,并提出了层选择与距离递减扰动预算分配策略以解决高维空间优化难题。实验表明该方法在多种大视觉语言模型上显著优于基线方法。

来源:arXiv · 机器人与计算机视觉 · arxiv.org