跳到正文
arXiv · 机器人与计算机视觉· Bryan A. Plummer, Shan Lu, Keval Doshi, Noranart Vesdapunt, Wei Wang, Jim Thomas, Kah Kuen Fu·· 2 天前AI 评分58

平衡双权重分解用于高效多模态大语言模型

Balanced Twin Weight Factorization for Efficient MLLMs

AI 导读

针对权重分解方法因矩阵替换引入开销导致延迟降低困难的挑战,本文提出平衡双权重分解(BTWF)方法。该方法在共享基元设置下利用孪生层结构减少推理时间,并通过因子分量平衡与块贡献平衡优化性能。实验表明,BTWF 在六个模型九个基准测试中相比最先进方法提升 2-6%,无需昂贵的微调即可实现效率与性能的平衡。

来源:arXiv · 机器人与计算机视觉 · arxiv.org