跳到正文
arXiv · 机器人与计算机视觉· Hong Nie, Zhangchi Gao, Yuqian Liang, Jun Yu, Bo Wang, Jianqing Sun, Shengping Liu·· 16 天前精选AI 评分82

Uni-LaSpec:面向视觉语言模型的负载自适应推测解码方法

Seeing What Matters, Verifying What Pays: Load-Adaptive Speculative Decoding for Vision-Language Models

AI 导读

论文提出了 Uni-LaSpec 框架,通过复用验证器注意力机制和接受度感知训练优化草稿质量,并利用边际成本准则动态分配验证结构以适应不同 GPU 负载。实验显示该方法在六种视觉语言模型上平均保留超过 98.6% 的接受率,吞吐量提升最高达 5.11 倍,并在多种负载场景下优于固定验证策略。

推荐理由

该工作提出负载自适应推测解码框架,在六种大模型与十七项基准测试中验证了其在不同 GPU 负载下的效率提升。

来源:arXiv · 机器人与计算机视觉 · arxiv.org