arXiv · 机器人与计算机视觉· Yanchao Li, Jiaqing Xie, Ben Gao, Yusu Zhang, Beilun Wang, Yanbo Wang, Xiaohua Xu, Zhongyu Huang, Tianfan Fu, Nanqing Dong·· 12 小时前精选AI 评分84
Disagree to Prune:通过小 VLM 的异议重分配视觉 Token
Disagree to Prune: Reallocating Visual Tokens Where a Small VLM Dissents
AI 导读
论文提出了 PRUDENT 方法,用于加速大型视觉语言模型(VLM)。该方法利用一个小 VLM 对剪枝后结果的异议信号,将节省下来的计算资源重新分配给那些小 VLM 认为不可靠的问题进行二次回答。在 18 个基准测试中,PRUDENT 在相同的平均视觉 Token 预算下优于八种现有的剪枝方法,且在预算更紧张时优势更大。代码和数据已公开。
推荐理由
提出 PRUDENT 方法,利用小 VLM 对剪枝结果的异议来重新分配视觉 Token,在多个基准上优于现有方法。
来源:arXiv · 机器人与计算机视觉 · arxiv.org