arXiv · 机器人与计算机视觉· Keigo Watanabe, Hiroshi Kera, Kazuhiko Kawamoto·· 27 天前精选AI 评分85
LoRA 在预训练模型间的叠加:一种无需路由的跨模型微调方法
LoRA Superposition across Pretrained Models
AI 导读
该研究提出将针对同一任务在不同预训练骨干上独立训练的 LoRA 直接求和并应用于所有贡献骨干的方法,称为 LoRA 叠加。实验显示,该方法在七个 ViT-B/16 CLIP 骨干和八个图像分类任务上的全部 56 对组合中均提升性能,平均准确率增益达 30.21 个百分点,仅比单独训练低 0.28 个百分点。
推荐理由
论文验证了不同预训练骨干上的独立 LoRA 可直接叠加且互不干扰,为跨模型微调提供了无需路由的组件化方法。
来源:arXiv · 机器人与计算机视觉 · arxiv.org