跳到正文
arXiv · 机器人与计算机视觉· Rinyoichi Takezoe, Yaqian Li, Weiren Wang, Zihao Bo, Huihong Shi, Anzhou Hou, Mo Guang, Jiale Yan, Kaiwen Long·· 22 天前AI 评分75

LearnPrunerV2:面向视觉语言模型的可学习渐进式 Token 剪枝方法

LearnPrunerV2: Learnable Progressive Token Pruning for Vision-Language Models

AI 导读

针对现有视觉语言模型 Token 剪枝存在标准不可靠、策略僵化的问题,本文提出 LearnPrunerV2。该方法在骨干网络每层集成轻量可学习模块,融合内在视觉显著性与外在查询相关性进行重要性估计,并引入预算确定性剪枝以建立硬件友好型调度。实验表明,在 LLaVA-v1.5 上剪除 77.8% 视觉 Token 时保留了 99.8% 原始性能,优于现有最先进方法。

来源:arXiv · 机器人与计算机视觉 · arxiv.org