arXiv · 机器人与计算机视觉· Imad Eddine Marouf, Khalid Oublal, Enzo Tartaglione, St\'ephane Lathuili\`ere·· 10 天前AI 评分58
面向基类到新类泛化的解耦模式连通性方法
Decoupled Mode Connectivity for Base-to-Novel Generalization in Vision-Language Models
AI 导读
针对视觉语言模型在优化短提示时基类特化与新类泛化的目标冲突问题,提出解耦模式连通性方法。该方法从基训练提示出发,分别训练特化与泛化提示,并在推理时以固定系数融合文本特征,利用线性模式连通性与视觉锚点 KL 项保持分类损失低及零样本分布稳定。研究论证了正则化器应满足类置换不变性,并在 11 个数据集上验证该方法优于 MergeTune 基线。
来源:arXiv · 机器人与计算机视觉 · arxiv.org