arXiv · 机器人与计算机视觉· Carlos Boned Riera, David Romero Sanchez, Oriol Ramos Terrades·· 13 天前AI 评分68
超越二次方注意力:用于 ODE Vision Transformer 的可分离高斯算子
Beyond Quadratic Attention: Separable Gaussian Operators for ODE Vision Transformers
AI 导读
论文介绍 SSoG,一种用学习到的轴因子化高斯核混合替代稠密自注意力的可分离求和高斯空间算子。相比点积自注意力,SSoG 具有全局 Lipschitz 连续性,保证连续深度变体在积分区间存在唯一解。
来源:arXiv · 机器人与计算机视觉 · arxiv.org