跳到正文
arXiv · 机器人与计算机视觉· Shih-Cheng Huang, Zhi Rui Tam, Chieh-Yen Lin, Yun-Nung Chen, Hung-yi Lee, Shao-Hua Sun·· 2026-10-07精选AI 评分84

αTransfer:基于系数转移的高效模型合并方法

$\alpha$Transfer: Coefficient Transfer for Efficient Model Merging

AI 导读

针对大规模模型合并时搜索最优参数系数成本高昂的问题,本文提出αTransfer范式。该方法利用同一家族内不同尺寸模型在合并系数上的性能分布高度一致的特性,在小代理模型上完成搜索后直接将系数迁移至大目标模型。实验表明,该方法在视觉Transformer和大型语言模型上分别实现了6倍和20倍的加速以及70%和85%的显存减少,同时保持了相当的性能水平。

推荐理由

提出αTransfer方法,在小代理模型上搜索合并系数并直接迁移至大模型,实现视觉与语言模型的推理速度提升及显存大幅降低。

来源:arXiv · 机器人与计算机视觉 · arxiv.org