跳到正文
arXiv · 机器人与计算机视觉· Quan Kong, Yuhao Shen, Yicheng Ji, Huan Li, Cong Wang·· 12 小时前AI 评分59

ParallelVLM:基于视觉对齐感知的无损视频大模型加速方法

ParallelVLM: Lossless Video-LLM Acceleration with Visual Alignment Aware Parallel Speculative Decoding

AI 导读

针对视频大模型自回归解码效率受限于海量视频 token 的问题,本文提出了 ParallelVLM,一种无需训练的草案 - 验证推测解码框架。该方法通过并行化两个阶段最大化硬件利用率,并引入无偏验证器引导的剪枝策略以消除注意力引导剪枝中的位置偏差。

来源:arXiv · 机器人与计算机视觉 · arxiv.org