跳到正文
arXiv · 机器人与计算机视觉· Qi Guo, Xiaojun Jia, Shanmin Pang, Simeng Qin, Lin Wang, Ju Jia, Yang Liu, Qing Guo·· 6 天前AI 评分62

PhysPatch:面向多模态大模型自动驾驶系统的物理可实现与可迁移对抗补丁攻击框架

PhysPatch: A Physically Realizable and Transferable Adversarial Patch Attack for Multimodal Large Language Models-based Autonomous Driving Systems

AI 导读

该论文针对多模态大语言模型(MLLM)在自动驾驶系统中的脆弱性,提出了 PhysPatch 框架。该方法联合优化补丁位置、形状和内容,引入基于语义的掩码初始化策略以确保物理可行性,并利用 SVD 局部对齐损失提升跨模型迁移能力。实验表明,PhysPatch 能显著引导 MLLM 系统产生目标一致的感知与规划输出,且补丁始终放置在自动驾驶场景的物理可行区域。

来源:arXiv · 机器人与计算机视觉 · arxiv.org