arXiv · 机器人与计算机视觉· Ke Li, Zishan Shao, Yiran Chen·· 6 天前精选AI 评分82
TraceKV:一种用于推理视觉语言模型的策略保持低秩 KV Cache 压缩方法
TraceKV: Policy-Preserving Low-Rank KV Cache Compression for Reasoning Vision-Language Models
AI 导读
针对大上下文和长推理痕迹带来的 KV Cache 需求,现有低秩压缩方法易导致预测策略漂移。本文提出 TraceKV,通过统一在策校准、敏感性感知 SVD 及全局秩分配,显著降低推理过程中的策略 KL 发散。
推荐理由
提出 TraceKV 框架,在无需微调下实现 KV Cache 压缩与策略保留,兼顾推理精度与显存效率。
来源:arXiv · 机器人与计算机视觉 · arxiv.org