跳到正文
arXiv · 机器人与计算机视觉· Keigo Watanabe, Hiroshi Kera, Kazuhiko Kawamoto·· 27 天前精选AI 评分85

LoRA 在预训练模型间的叠加:一种无需路由的跨模型微调方法

LoRA Superposition across Pretrained Models

AI 导读

该研究提出将针对同一任务在不同预训练骨干上独立训练的 LoRA 直接求和并应用于所有贡献骨干的方法,称为 LoRA 叠加。实验显示,该方法在七个 ViT-B/16 CLIP 骨干和八个图像分类任务上的全部 56 对组合中均提升性能,平均准确率增益达 30.21 个百分点,仅比单独训练低 0.28 个百分点。

推荐理由

论文验证了不同预训练骨干上的独立 LoRA 可直接叠加且互不干扰,为跨模型微调提供了无需路由的组件化方法。

来源:arXiv · 机器人与计算机视觉 · arxiv.org