跳到正文
arXiv · 机器人与计算机视觉· Jingyuan Zhang, Nihao Niu, Xinyang Lv, Beibei Han, Xiaoyun Wang, Yanning Hou, Ke Xu·· 6 天前AI 评分42

DiFiT:面向多模态大模型的分布保真视觉 Token 剪枝技术

DiFiT: Distribution-Fidelity-guided Visual Token Pruning for Multimodal Large Language Models

AI 导读

DiFiT 通过双视图蒸馏与可微 Top-K 机制,在保留模型推理概率分布的同时降低多模态大模型推理成本。该方法在 Qwen2.5-VL-7B 上相比 FastV 将采样导致的负向翻转减少 30.3%,并在 10% 和 30% 的保留率下分别维持了基准性能的对应表现,有效解决了剪枝引发的概率漂移问题。

来源:arXiv · 机器人与计算机视觉 · arxiv.org