跳到正文
arXiv · 机器人与计算机视觉· Mohammed Rahman Sherif Khan Mohammad, Ardhendu Behera, Sandip Pradhan, Swagat Kumar, Yonghuai Liu·· 13 天前AI 评分63

SD-LoRA:面向少样本视觉语言适应的训练时结构化蒸馏方法

SD-LoRA: Training-Time Structural Distillation into LoRA for Few-Shot Vision-Language Adaptation

AI 导读

针对视觉语言模型的少样本适应问题,该研究提出 SD-LoRA 框架,旨在平衡细粒度视觉区分学习与部署效率。该方法在训练阶段利用异质图教师模型对高分辨率 ViT token 进行 patch-patch、全局 - 局部及视觉 - 文本关系的建模,并通过隐式蒸馏与原型预测对齐将结构偏置转移至共享的 CLIP-LoRA 骨干网络。

来源:arXiv · 机器人与计算机视觉 · arxiv.org