跳到正文
arXiv · 机器人与计算机视觉· Zidan Wang, Yaqian Li, Xiaokai Zhang, Kaiwen Long, Kun He, Hanpeng Liu·· 2026-10-09AI 评分43

ComCLIP:冻结文本编码器的 CLIP 后训练互补框架

Rethinking Contrastive Loss in CLIP Post-training: A Complementary Framework with Frozen Text Encoder

AI 导读

ComCLIP 提出一种轻量级单轮次后训练方案,通过冻结 CLIP 文本编码器并引入调节对比损失、MSE 锚定及 DINOv2 关系蒸馏,在 ViT-B/16 线性探测任务上视觉特征迁移性达 48.99(基线 42.28)。作为 LLaVA-1.5-7B 的即插即用视觉编码器,该方案无需重对齐投影器或大语言模型,在八个基准测试中未破坏下游兼容性。代码与模型已公开,适用于计算机视觉与人工智能领域。

来源:arXiv · 机器人与计算机视觉 · arxiv.org