跳到正文
arXiv · 机器人与计算机视觉· Junhyeok Kim, Jinyeong Kim, Jae Wan Park, Seong Jae Hwang·· 2026-10-08AI 评分42

uViT 揭示注意力与前馈网络分离在视觉 Transformer 中的必要性限制

On the Necessity of Attention-FFN Split in Vision Transformers

AI 导读

研究引入 AttenFeed 模块构建统一架构 uViT,替代传统 ViT 交替的 Attention-FFN 结构。实验表明,刚性参数分配导致该分离机制在小模型规模下阻碍性能提升。uViT 为理解 ViT 启发式设计提供了新分析工具与理论洞察。

来源:arXiv · 机器人与计算机视觉 · arxiv.org