arXiv · 机器人与计算机视觉· Kun Zhou, Wenmian Yang, Zhensheng Wang, Yanzeng Li, Weijia Jia·· 4 小时前AI 评分73
Fold the Loop:解码时 KV 记忆用于循环视觉语言模型
Fold the Loop: Decoding-Time KV Memory for Looped Vision-Language Models
AI 导读
该论文提出 FoldCache 技术,解决循环视觉语言模型(Looped VLMs)在解码阶段随递归深度增长而导致的显存占用过高问题。研究发现预填充后早期步骤仍可复用同一模块内的最终视觉 KV。
来源:arXiv · 机器人与计算机视觉 · arxiv.org