arXiv · 机器人与计算机视觉· Rui Ning, Om Chabra, Hari Balakrishnan·· 12 小时前AI 评分43
Spool:低延迟流式推理框架赋能混合视觉语言模型
Spool: Low-Latency Streaming Inference for Hybrid Vision-Language Models
AI 导读
Spool 是一种无需训练的框架,通过缓存每帧状态变换并高效组合,在移除过期帧时避免重播骨干网络。该方案在五个开源混合 VLM 及四个视频推理基准的 20 组测试中,将 p95 首 token 延迟降低 6.6 倍且准确率平均提升 2.3 个百分点。
来源:arXiv · 机器人与计算机视觉 · arxiv.org