跳到正文
arXiv · 机器人与计算机视觉· Ziyi Wang, Xiyue Zhang, Bing Hu, Guangmin Song, Chenyi Zhang, Li Wang·· 13 小时前AI 评分72

ShelfKV:一种无需训练的按需视觉 KV 缓存方法,解决多轮推理中图像被挤出注意力槽的问题

Keep the Reasoning, Read the Image: On-Demand Visual KV for Multi-Turn Reasoning VLMs

AI 导读

针对多轮对话视觉语言模型(VLM)在长推理过程中因共享预算导致图像缓存被挤出的问题,论文提出 ShelfKV 方法。该方法无需训练,利用 CPU 内存保留所有视觉条目,仅在解码步骤将当前查询评分最高的视觉条目交换至注意力槽,确保图像不被驱逐且按需占用资源。

来源:arXiv · 机器人与计算机视觉 · arxiv.org