arXiv · 机器人与计算机视觉· Xunguang Wang, Pingchuan Ma, Zhenlan Ji, Zongjie Li, Shuai Wang, Weixi Gu·· 2026-10-06AI 评分72
InstructTA:面向大视语言模型的指令微调定向攻击方法
InstructTA: Instruction-Tuned Targeted Attack for Large Vision-Language Models
AI 导读
该研究针对大视语言模型(LVLMs)的脆弱性,提出一种仅需知道受害者视觉编码器而无需其提示词或底层大语言模型知识的新型定向对抗攻击场景。作者提出了 InstructTA 方法,利用公开的文生图模型将目标响应逆向为目标图像,并通过 GPT-4 推断合理指令,构建共享视觉编码器的本地代理模型以提取特征并优化对抗样本。
来源:arXiv · 机器人与计算机视觉 · arxiv.org