arXiv · 机器人与计算机视觉· Jiacheng Lu, Haoyi Zhu, Sipei Yi, Enze Xie, Cheng Zhuo, Yu Li·· 14 天前精选AI 评分78
NanoKV:面向自回归视频生成的高比率 KV 缓存压缩方法
NanoKV: High-Ratio KV Cache Compression for Autoregressive Video Generation
AI 导读
针对自回归视频模型在长序列生成中的显存与计算瓶颈,论文提出 NanoKV 框架,通过冻结骨干网并利用 Token 与注意力头的冗余性实现高比率 KV 缓存压缩。
推荐理由
NanoKV 提出冻结骨干网的高比率 KV 缓存压缩框架,在视频生成任务中显著降低显存占用并提升推理速度。
来源:arXiv · 机器人与计算机视觉 · arxiv.org