跳到正文
arXiv · 机器人与计算机视觉· Peiran Yin, Hao Wu, Zihao Yang, Haozhe Hu, Xudong Wang, Xiaoyu Shen·· 23 天前AI 评分72

Rescuing Your Pruning:重审多模态大模型的视觉 Token 剪枝与后训练恢复

Rescuing Your Pruning: Rethinking Visual Token Pruning and Post-Training Recovery in MLLMs

AI 导读

论文提出通过统一协议对多模态大模型进行视觉 Token 剪枝,并验证了后训练能挽回大部分性能损失。研究发现联合压缩中保留编码器 40% Token 比投影器 10% 更快,最佳配置在保持理解能力同时加速 LLM 阶段 3.49 倍,但端到端首字时间仅提升 1.54 倍。数据、协议与代码将开源。

来源:arXiv · 机器人与计算机视觉 · arxiv.org