arXiv · 机器人与计算机视觉· Kai Liu, Anqi Li, Junxian Li, Zhixin Wang, Zhikai Chen, Renjing Pei, Yulun Zhang·· 2026-10-16AI 评分42
TwinPrune:面向视觉语言模型的密度感知两阶段 Token 剪枝方法
TwinPrune: Density-Aware Two-Phase Token Pruning for Vision-Language Models
AI 导读
TwinPrune 提出统一空间密度信号,分别优化预填充阶段的二分合并与解码阶段的 KV 驱逐,在七种模型变体上实现算力、内存与精度的帕累托最优。该方法以 0.125 保留率在 TextVQA 任务上超越 H2O 基线 9.6 分,且压缩效率随模型规模增大而提升。代码已开源,建议将 MM-Vet 或 DocVQA 作为解码阶段剪枝的强制验证基准。
来源:arXiv · 机器人与计算机视觉 · arxiv.org