跳到正文
arXiv · 机器人与计算机视觉· Yuqi Li, Chuanyue Yan, Neil Rodrigues, Xianglong Wang, Xiaoqin Feng, Junming Liu, Xi Xiao, Zhongwei Cheng, Wei Li, Lin Chen, Yingli Tian·· 22 天前精选AI 评分78

视频大语言模型免训练推理加速:方法、权衡与评估

Training-Free Inference Acceleration for Video Large Language Models: Methods, Trade-offs, and Evaluation

AI 导读

视频大语言模型在长序列理解上存在高计算延迟和内存开销问题。该论文作为综述,系统梳理了从输入到解码各阶段的免训练推理加速方法,单独讨论了后训练量化技术。研究分析了干预位置对时空证据保留的影响,解释了局部效率提升为何未必转化为端到端加速,并基于共享评估设置提供了定量证据以评估精度与延迟的权衡。

推荐理由

该综述系统梳理了视频大语言模型免训练推理加速方法,按干预阶段分析证据保留与计算开销的权衡。

来源:arXiv · 机器人与计算机视觉 · arxiv.org