跳到正文
arXiv · 机器人与计算机视觉· Zihao Qi, Zhibo Zhang, Miaoxin Zhang, Jincheng Cai, Zengqiang Yan·· 15 天前精选AI 评分82

BtsPruner:面向大视觉语言模型的基于角色感知的视觉 Token 剪枝方法

BtsPruner: Role-Aware Visual Token Pruning for Large Vision-Language Models

AI 导读

针对大视觉语言模型推理时计算开销大的问题,本文提出 BtsPruner 框架,该方法无需训练即可通过识别视觉 Token 从局部细节到全局代表的角色演变过程进行剪枝。实验表明,在 LLaVA-1.5-7B 等模型上,仅保留 32 个视觉 Token(占总数 5.6%)即可保持 91.6% 的原始性能,并在高分辨率设置下实现最高 5.95 倍的 CUDA 延迟加速。

推荐理由

提出无需训练的基于角色感知的视觉 Token 剪枝框架,在大幅减少输入 Token 数量下保持高性能并显著降低推理延迟。

来源:arXiv · 机器人与计算机视觉 · arxiv.org