arXiv · 机器人与计算机视觉· Madhav Iyengar, Andreas Geiger, Hilde K\"uhne·· 2026-10-16AI 评分68
Retrofitting Recurrent Vision-Language Models from Pretrained Backbones
Retrofitting Recurrent Vision-Language Models from Pretrained Backbones
AI 导读
该工作提出将深度循环机制植入预训练视觉语言模型(VLM)以缩减参数足迹,通过剪枝语言骨干层并引入线性适配器融合输出。采用三阶段恢复训练策略,利用预训练非循环模型的蒸馏进一步提升性能。在 TinyLLaVA-1.4B 骨架上无需新增数据即实现优于未剪枝基线的效果,存储的语言参数减少 23.3%,且在推理导向基准上表现更好。
来源:arXiv · 机器人与计算机视觉 · arxiv.org