arXiv · 机器人与计算机视觉· Intaek Shin, Geuntaek Lim, Sungjune Park, Yukyung Choi·· 20 天前AI 评分74
ST-Pruner:基于谱结构与语义相关性的视觉 Token 剪枝方法
Don't Ask the LLM: Visual Token Pruning with Spectral Structure and Semantic Relevance
AI 导读
针对大视觉语言模型推理成本高的问题,本文提出免训练的 ST-Pruner 框架,在 LLM 查询之前利用注意力独立的谱显著性与倒置的块文本相似度进行 Token 选择。实验表明该方法在多种 LVLM 上保留超过 95% 的全量 Token 性能,同时仅使用最多 11.1% 的视觉 Token,并在 LLaVA-NeXT 上实现 3.2 倍的端到端加速。论文已接受至 WACV 2027,代码开源。
来源:arXiv · 机器人与计算机视觉 · arxiv.org