arXiv · 机器人与计算机视觉· Manish Das, Shiv Ram Dubey, Satish Kumar Singh·· 20 天前AI 评分42
ConvRoute-ViT:卷积令牌路由提升视觉 Transformer 效率
ConvRoute-ViT: Convolutional Token Routing for Efficient Vision Transformers
AI 导读
ConvRoute-ViT 提出一种通过卷积路由进行令牌缩减的机制,在选定层依据类别令牌注意力保留相关图像块令牌,并将剩余令牌重组压缩为紧凑的卷积摘要令牌。CIFAR-100 和 TinyImageNet 实验表明,该模型在保持分类精度的同时显著提升了计算效率。
来源:arXiv · 机器人与计算机视觉 · arxiv.org