arXiv · 机器人与计算机视觉· Bryan A. Plummer, Shan Lu, Keval Doshi, Noranart Vesdapunt, Wei Wang, Jim Thomas, Kah Kuen Fu·· 2 天前AI 评分58
平衡双权重分解用于高效多模态大语言模型
Balanced Twin Weight Factorization for Efficient MLLMs
AI 导读
针对权重分解方法因矩阵替换引入开销导致延迟降低困难的挑战,本文提出平衡双权重分解(BTWF)方法。该方法在共享基元设置下利用孪生层结构减少推理时间,并通过因子分量平衡与块贡献平衡优化性能。实验表明,BTWF 在六个模型九个基准测试中相比最先进方法提升 2-6%,无需昂贵的微调即可实现效率与性能的平衡。
来源:arXiv · 机器人与计算机视觉 · arxiv.org