跳到正文
arXiv · 机器人与计算机视觉· Chongyu Qu, Ritchie Zhao, Yufan He, Dong Yang, Zhengyi Lu, Junchao Zhu, Tianyuan Yao, Juming Xiong, Junlin Guo, Yanfan Zhu, Yuechen Yang, Daguang Xu, Bennett Allan Landman, Yucheng Tang, Yuankai Huo·· 13 天前AI 评分65

TACT-KV:面向医疗视觉语言模型的三轴余弦变换体积 KV Cache 压缩方法

TACT-KV: Tri-Axis Cosine Transform for Compressing Volumetric KV Caches in Medical VLMs

AI 导读

针对应用于三维医学扫描的视觉语言模型面临的结构性内存墙问题,本文提出 TACT-KV(Tri-Axis Cosine Transform),这是一种无需校准的 KV Cache 压缩方法。

来源:arXiv · 机器人与计算机视觉 · arxiv.org