arXiv · 机器人与计算机视觉· Pengcheng Zheng, Chaoning Zhang, Ya Wen, Jiaxin Huang, Jiaquan Zhang, Caiyan Qin, Kuien Liu, Sheng Zheng, Pietro Li\`o, Yang Yang·· 16 天前精选AI 评分78
CausalPrune:面向高效大视觉语言模型的 Counterfactual Causal Token Pruning
CausalPrune: Counterfactual Causal Token Pruning for Efficient Large Vision-Language Models
AI 导读
针对大视觉语言模型推理中冗余视觉 Token 导致计算量大的问题,本文提出 CausalPrune 框架。该方法将推理建模为结构因果模型,引入因果 Token 重要性评分(CTIS)来估计干预每个视觉 Token 的平均处理效应,并利用后门调整缓解跨模态混淆。
推荐理由
提出基于反事实因果的视觉 Token 剪枝框架,通过结构化因果模型区分关键与虚假关联 Token,在降低计算量的同时保持多模态性能。
来源:arXiv · 机器人与计算机视觉 · arxiv.org