跳到正文
arXiv · 机器人与计算机视觉· Jiacheng Lu, Haoyi Zhu, Sipei Yi, Enze Xie, Cheng Zhuo, Yu Li·· 14 天前精选AI 评分78

NanoKV:面向自回归视频生成的高比率 KV 缓存压缩方法

NanoKV: High-Ratio KV Cache Compression for Autoregressive Video Generation

AI 导读

针对自回归视频模型在长序列生成中的显存与计算瓶颈,论文提出 NanoKV 框架,通过冻结骨干网并利用 Token 与注意力头的冗余性实现高比率 KV 缓存压缩。

推荐理由

NanoKV 提出冻结骨干网的高比率 KV 缓存压缩框架,在视频生成任务中显著降低显存占用并提升推理速度。

来源:arXiv · 机器人与计算机视觉 · arxiv.org