arXiv · 机器人与计算机视觉· Mohamed Salim Aissi, Olivier Sigaud, Laure Soulier, Nicolas Thome·· 2 天前精选AI 评分83
Bring Back Language to Actions:通过参数合并恢复 VLA 模型中的 VLM 能力
Bring Back Language to Actions: Restoring VLM capabilities in VLA Models via Parameter Merging
AI 导读
Vision-Language-Action (VLA) 模型在微调后常出现灾难性遗忘,导致原有视觉与语义理解能力下降。本文提出一种无需重训的参数合并方法,提取任务向量并通过奇异值分解控制保留的适应程度,实验表明该方法能同时保持动作预测和视觉语言能力,且表现优于现有基线。
推荐理由
提出通过奇异值分解合并 VLM 与 VLA 参数,在不重训情况下恢复视觉语言能力并优于现有基线。
来源:arXiv · 机器人与计算机视觉 · arxiv.org