跳到正文
arXiv · 机器人与计算机视觉· Ke Li, Zishan Shao, Yiran Chen·· 6 天前精选AI 评分82

TraceKV:一种用于推理视觉语言模型的策略保持低秩 KV Cache 压缩方法

TraceKV: Policy-Preserving Low-Rank KV Cache Compression for Reasoning Vision-Language Models

AI 导读

针对大上下文和长推理痕迹带来的 KV Cache 需求,现有低秩压缩方法易导致预测策略漂移。本文提出 TraceKV,通过统一在策校准、敏感性感知 SVD 及全局秩分配,显著降低推理过程中的策略 KL 发散。

推荐理由

提出 TraceKV 框架,在无需微调下实现 KV Cache 压缩与策略保留,兼顾推理精度与显存效率。

来源:arXiv · 机器人与计算机视觉 · arxiv.org