arXiv · 机器人与计算机视觉· Bohan Liu, Wenqian Ye, Guangzhi Xiong, Zhenghao He, Sanchit Sinha, Aidong Zhang·· 16 天前AI 评分45
Label-Free Localization and Test-Time Suppression of CLIP's Typographic Circuits
Label-Free Localization and Test-Time Suppression of CLIP's Typographic Circuits
AI 导读
针对 CLIP 类视觉语言模型在字体攻击下的语义脆弱性,研究提出头分解稀疏字典学习架构及无标签的清晰度与文本归因评分。通过测试时重加权注意力机制,该方法在五款 CLIP 变体及四个基准上使抗攻击分类提升最高 46.9%,仅损失 1% 通用感知精度。进一步提出的测试时自适应注意力路由策略在同等鲁棒性下突破了当前鲁棒性与感知的帕累托前沿。
来源:arXiv · 机器人与计算机视觉 · arxiv.org