跳到正文
arXiv · 机器人与计算机视觉· Taehoon Kim, Wonjun Hwang, Hyunsouk Cho·· 15 天前AI 评分72

Bridging CLIP with DINO:面向在线测试时适应的跨模态信息最大化

Bridging CLIP with DINO: Cross-Modal Information Maximization for Online Test-Time Adaptation

AI 导读

针对 Vision-language 模型(如 CLIP)在测试时数据扰动下因模态偏差导致置信度过高的问题,本文提出 CDIM 方法。该方法在表征层面结合冻结的自监督骨干网络(DINO v2)与 CLIP,优化层面引入带门控的信息最大化目标以排除不可靠样本,预测层面进行在线 logit 调整。实验表明 CDIM 在 ImageNet-C、CIFAR10-C 等基准上优于现有基线,代码已开源。

来源:arXiv · 机器人与计算机视觉 · arxiv.org