跳到正文
arXiv · 机器人与计算机视觉· Erfan Shayegani, Kundan Krishna, Yue Dong, Nael Abu-Ghazaleh, Leon Gatys, Shruti Palaskar·· 2026-10-06精选AI 评分82

视觉语言模型中的视觉定位安全问题及修复方法

Visual Grounding Safety in Vision-Language Models

AI 导读

该研究针对视觉语言模型(VLM)生成结构化输出时的安全对齐不足问题,利用三个涵盖直接伤害、社会偏见和情境安全的基准数据集,对比了问答与视觉定位两种输出模式下的拒绝率差异。

推荐理由

研究发现 VLM 在 grounding 任务上比问答更容易被诱导执行有害指令,提出了一种结合拒绝与能力数据的微调方案以修复此漏洞。

来源:arXiv · 机器人与计算机视觉 · arxiv.org