跳到正文
arXiv · 机器人与计算机视觉· Nguyen Duc Thai, Junhao Dong, Sua Qi Rong, Hua Yu, Tan Chin Sheng, Yew-Soon Ong·· 16 天前AI 评分72

统一对抗鲁棒性模型专家的视觉语言模型方法

Unifying Adversarially Robust Model Experts in Vision-Language Models

AI 导读

针对视觉语言模型(如 CLIP)易受对抗攻击的问题,本文提出 CARE 协作对抗鲁棒性微调框架。该方法在训练过程中维护多个具有不同鲁棒特性的专家模型,通过嵌入空间对齐促进知识交换与整合,最终汇聚成单一统一模型以继承互补的鲁棒属性。实验表明,CARE 在经典图像分类及下游视觉语言任务中均能超越单独学习的模型专家,验证了跨模型专家协作学习在提升对抗鲁棒性方面的潜力。

来源:arXiv · 机器人与计算机视觉 · arxiv.org