arXiv · 机器人与计算机视觉· Junhyeok Kim, Jinyeong Kim, Jae Wan Park, Seong Jae Hwang·· 2026-10-08AI 评分42
uViT 揭示注意力与前馈网络分离在视觉 Transformer 中的必要性限制
On the Necessity of Attention-FFN Split in Vision Transformers
AI 导读
研究引入 AttenFeed 模块构建统一架构 uViT,替代传统 ViT 交替的 Attention-FFN 结构。实验表明,刚性参数分配导致该分离机制在小模型规模下阻碍性能提升。uViT 为理解 ViT 启发式设计提供了新分析工具与理论洞察。
来源:arXiv · 机器人与计算机视觉 · arxiv.org