arXiv · 机器人与计算机视觉· Zimeng Wu, Qijian Tian, Penghui Du, Changqian Yu, Jiaxin Chen, Yunhong Wang·· 20 天前AI 评分75
Calibrating Attention-Based Token Pruning for Efficient Multi-Image Synthesis in UMMs
Calibrating Attention-Based Token Pruning for Efficient Multi-Image Synthesis in UMMs
AI 导读
论文针对统一多模态模型(UMMs)在多图像合成中的长视觉上下文计算开销问题,提出首个免训练上下文压缩方法 CATP。该方法通过校准通用注意力剪枝的偏差,引入引导一致剪枝与泰勒校准注意力指标,在代表性基准上实现最高 2.09 倍的注意力核心加速,优于现有最先进剪枝方法。
来源:arXiv · 机器人与计算机视觉 · arxiv.org