arXiv · 机器人与计算机视觉· Jiameng Li, Aleksei Tiulpin, Matthew B. Blaschko·· 2 天前AI 评分72
MI-Pruner:一种用于高效 MLLM 推理的跨模态互信息引导令牌剪枝器
MI-Pruner: Crossmodal Mutual Information-guided Token Pruner for Efficient MLLMs
AI 导读
针对多模态大语言模型视觉令牌冗余问题,提出 MI-Pruner 方法。该方法基于投影空间中的点互信息(PMI)计算相关性得分,以反映跨模态相关性与模内冗余度。无需依赖内部注意力图或修改架构,即可无缝应用于任何预训练 MLLM 进行推理加速。
来源:arXiv · 机器人与计算机视觉 · arxiv.org