跳到正文
arXiv · 机器人与计算机视觉· Ghassen Baklouti, Maxime Zanella, Ismail Ben Ayed·· 9 天前AI 评分68

面向少样本 CLIP 的语言感知信息最大化方法

Language-Aware Information Maximization for Transductive Few-Shot CLIP

AI 导读

针对基础视觉语言模型(VLM)中少样本学习尚处萌芽阶段的问题,本文提出一种名为 LIMO 的新型损失函数,整合了视觉输入与文本类描述的互信息、网络输出与零样本预测的 KL 散度惩罚以及基于标注样本的交叉熵损失。研究挑战了该场景下常见的微调实践并探索参数高效微调(PEFT)策略,实验表明该方法在少样本设置下大幅提升了性能,优于近期同类方法及最佳归纳式方法。代码已公开。

来源:arXiv · 机器人与计算机视觉 · arxiv.org