arXiv · 机器人与计算机视觉· Zhen Zhu, Yiming Gong, Yao Xiao, Yaoyao Liu, Derek Hoiem·· 27 天前精选AI 评分78
如何在不遗忘旧能力的前提下为大多模态模型教授新技能
How to Teach Large Multimodal Models New Skills
AI 导读
论文研究如何在向大语言视觉模型(LMMs)教授新技能时避免遗忘先前的通用能力。实验发现,仅更新自注意力投影层或 MLP 门控与上采样层的微调策略,在保持学习能力的同时大幅减少了遗忘现象,性能优于全量微调及多种现有缓解方法。该结论在 LLaVA-OneVision、LLaVA-NeXT 和 Qwen2.5-VL 等多个模型系列上得到验证。代码将公开。
推荐理由
研究发现仅更新自注意力投影层或 MLP 门控即可在提升新技能学习能力的同时显著抑制遗忘,且无需回放或辅助参数。
来源:arXiv · 机器人与计算机视觉 · arxiv.org