arXiv · 机器人与计算机视觉· Szymon Mazurek, Alberto Presta, Micha{\l} Byra·· 23 天前AI 评分48
Recursive CLIP:利用循环 Transformer 块实现视觉语言蒸馏的新架构
Recursive CLIP: Vision-Language Distillation with Looped Transformer Blocks
AI 导读
Recursive CLIP 通过复用少量 Transformer 块构建递归骨干网络,在保持 ViT-B/16 教师模型计算深度的同时提升参数效率。该研究基于 CC3M 和 CC12M 数据集进行知识蒸馏,并在零样本分类、跨模态检索及少样本学习等任务中验证了其在视觉语言模型中的可行性与适应性。
来源:arXiv · 机器人与计算机视觉 · arxiv.org