arXiv · 机器人与计算机视觉· Xin Guo, Arushi Rai, Xiang Zhou, Qiang Zhang, Siyu Lin, Xiangjun Fan, Lizhu Zhang·· 12 小时前AI 评分48
VisHead-Spec:一种用于多模态推测解码的头路由视觉注意力机制
VisHead-Spec: Head-Routed Visual Attention for Multimodal Speculative Decoding
AI 导读
VisHead-Spec 通过仅让 8 个 KV 头读取目标模型顶层图像特征,在 Qwen3-VL-8B 和 MMSpec 上实现了优于 DSpark 基线的推理加速。该方案将批处理量为 64 时的吞吐量增益提升至 16.0%,同时保持接受长度误差低于 0.3%。此预印本论文(arXiv:2611.21839)解决了高并发下多模态推测解码速度提升不足的问题。
来源:arXiv · 机器人与计算机视觉 · arxiv.org