跳到正文
arXiv · 机器人与计算机视觉· Tao Hu, Ling-Xiang Zhang, Da-Wei Zhou·· 3 天前AI 评分74

CoPre-MoE:一种用于多模态持续指令微调的混合专家模型整合与保留方法

CoPre-MoE: Consolidating and Preserving MoE for Multimodal Continual Instruction Tuning

AI 导读

针对多模态大语言模型在持续学习新能力时面临的灾难性遗忘与参数冗余问题,本文提出 CoPre-MoE 架构。该方法首先为每个任务学习专用混合专家以捕获特定能力,随后通过评估功能重叠将重叠专家整合至固定容量的通用专家池中,并将剩余任务特定专家分解为共享投影基和紧凑的任务特定核心存入私有专家池。

来源:arXiv · 机器人与计算机视觉 · arxiv.org