arXiv · 机器人与计算机视觉· Yuhong Wang, Yujun Cai, Lei Feng, Songze Li·· 8 天前AI 评分66
GARD:面向多模态对比学习模型后门的梯度引导对抗表征防御
GARD: Gradient-Guided Adversarial Representation Defense against Backdoors in Multimodal Contrastive Learning Models
AI 导读
论文 GARD 针对 CLIP 等多模态对比学习模型易受后门攻击的问题,提出一种目标与触发器无关的后处理防御方法。该方法利用有损编码器对全局和局部扰动的敏感性差异,优化互补的对抗探针以最大化位移干净图像表征,随后将扰动后的表征与解耦的干净锚点重新对齐并保留图文对齐能力。
来源:arXiv · 机器人与计算机视觉 · arxiv.org