arXiv · 机器人与计算机视觉· Laura Yao, Haochen Zhang, Jinhao Duan, Sijia Liu, Tianlong Chen·· 16 天前AI 评分58
Words Before Pixels:基于选择性模态路由的视觉语言模型遗忘方法
Words Before Pixels: Selective Modality Routing for Vision-Language Model Unlearning
AI 导读
论文指出当前视觉语言模型(VLM)遗忘研究多聚焦目标设计,忽视了遗忘样本在进入优化前的数据表示形式问题。作者构建了模态分解基准,通过实验发现文本表示比纯图像更能有效抑制不安全指令遵循行为,但纯文本遗忘可能削弱依赖视觉证据的视觉定位能力。
来源:arXiv · 机器人与计算机视觉 · arxiv.org