跳到正文
arXiv · 机器人与计算机视觉· Tao Hu, Da-Wei Zhou·· 29 天前精选AI 评分84

DRAPE:面向多模态持续指令微调的动态跨模态提示生成

Dynamic Cross-Modal Prompt Generation for Multimodal Continual Instruction Tuning

AI 导读

针对多模态大模型在多任务场景下的持续学习问题,现有方法存在实例级适应性不足和灾难性遗忘的局限。本文提出 DRAPE 框架,通过从文本指令推导查询并交叉关注视觉特征来合成实例特定的软提示,同时利用空空间梯度投影和基于 CLIP 的原型路由机制缓解遗忘。实验表明该方法在持续学习基准上达到最先进水平,代码已开源。

推荐理由

提出 DRAPE 框架,通过实例级跨模态提示生成与梯度投影缓解遗忘,在 MCIT 基准上达到 SOTA。

来源:arXiv · 机器人与计算机视觉 · arxiv.org