跳到正文
arXiv · 机器人与计算机视觉· Francesco Colasurdo, Ivan Slobozhan, Joaquin Vanschoren, Anna Vettoruzzo·· 2026-10-20AI 评分72

统一多模态模型后训练的跨模态遗忘与迁移研究

Cross-Modal Forgetting and Transfer in Unified Multimodal Post-Training

AI 导读

该研究针对统一多模态模型(如 Janus-Pro-7B)在 LoRA 后训练中出现的跨模态遗忘风险,发现单次微调安全但连续三次微调会导致未训练能力严重退化。实验表明,通过固定未参与训练的模态头可完全消除这种坍塌,且不影响已学能力的获取。论文指出学习到的知识仍局限于自身模态域,例如从文本学到的威尔士语在图像生成中仅填补了 3% 的英威差距。

来源:arXiv · 机器人与计算机视觉 · arxiv.org