arXiv · 机器人与计算机视觉· Boxun Xu, Jiaji Lu, Yuxuan Yin, Zihu Wang, Ziyue Liu, Yu Wang, Zirui Liu, Peng Li·· 14 天前AI 评分65
VAR-Q:面向视觉自回归图像与视频生成的免调优 KV Cache 量化方法
VAR-Q: Tuning-free KV Cache Quantization for Visual Autoregressive Image and Video Generation
AI 导读
论文 VAR-Q 针对视觉自回归生成中 KV Cache 显存占用过大的问题,提出一种无需微调的量化框架。研究发现少量极大值通道承载主要功能负载且沿特征与块两个轴组织,据此设计分组策略利用生成循环中的块边界直接定位异常值,结合位打包内核实现低比特量化。
来源:arXiv · 机器人与计算机视觉 · arxiv.org