arXiv · 机器人与计算机视觉· Luxi Lin, Zhihang Lin, Zhanpeng Zeng, Rongrong Ji·· 9 天前精选AI 评分82
面向多模态大模型重构的推测解码方法
Speculative Decoding Reimagined for Multimodal Large Language Models
AI 导读
该论文提出了 Multimodal Speculative Decoding (MSD) 框架,旨在解决多模态大语言模型(MLLMs)自回归解码延迟高的问题。针对文本和视觉 token 特性差异,该方法在草稿模型中解耦了两者处理并应用特定策略,同时采用先强化语言建模再逐步引入视觉感知的两阶段训练方案。
推荐理由
提出针对多模态大模型的推测解码框架,通过解耦文本与视觉 token 处理及两阶段训练策略,在保持生成质量的同时实现显著推理加速。
来源:arXiv · 机器人与计算机视觉 · arxiv.org