跳到正文
arXiv · 机器人与计算机视觉· Sicheng Feng, Zigeng Chen, Song Wang, Gongfan Fang, Xinchao Wang·· 3 天前AI 评分70

MMFlash:面向视觉语言模型的更快推测性解码

MMFlash: Faster Speculative Decoding for Vision-Language Models

AI 导读

针对扩散起草器主要关注纯文本任务而忽视多模态起草的局限,本文引入基于 KL 散度的 Token 级视觉依赖度指标,发现视觉依赖度高时接受率显著下降。为此提出 MMFlash 框架,自适应地提升起草器预测较差的视觉依赖 token 权重,并在长视频输入下采用稀疏注意力减少冗余计算。

来源:arXiv · 机器人与计算机视觉 · arxiv.org