跳到正文
arXiv · 机器人与计算机视觉· Zimian Wei, Tianqi Zhang, Hengyue Pan·· 23 天前AI 评分43

ACSAN:全卷积自注意力网络融合卷积操作与视觉 Transformer

ACSAN: All-Convolutional Self-Attention Network Integrating Convolutional Operations with Vision Transformer

AI 导读

ACSAN 提出一种新型深度学习模型,利用动态卷积自注意力模块替代 ViT 中的全连接矩阵乘法及 MLP。该模型在 CIFAR-10、CIFAR-100 和 ImageNet-1k 数据集上从头训练,实现了与标准 ViT 相当或更少的参数量下的高分类准确率。消融研究证实各组件均对最终性能有积极贡献。

来源:arXiv · 机器人与计算机视觉 · arxiv.org