跳到正文
arXiv · 机器人与计算机视觉· Kun Zhou, Wenmian Yang, Zhensheng Wang, Yanzeng Li, Weijia Jia·· 4 小时前AI 评分73

Fold the Loop:解码时 KV 记忆用于循环视觉语言模型

Fold the Loop: Decoding-Time KV Memory for Looped Vision-Language Models

AI 导读

该论文提出 FoldCache 技术,解决循环视觉语言模型(Looped VLMs)在解码阶段随递归深度增长而导致的显存占用过高问题。研究发现预填充后早期步骤仍可复用同一模块内的最终视觉 KV。

来源:arXiv · 机器人与计算机视觉 · arxiv.org