跳到正文
arXiv · 机器人与计算机视觉· Mourad Zaied·· 16 天前AI 评分53

SaluNet:一种基于几何而非统计的无归一化 CNN 与 Transformer 方法

Geometry, Not Statistics: SaluNet for Normalization-Free CNNs and Transformers

AI 导读

论文提出 SaluNet 架构,利用饱和自适应线性单元(SALU)替代传统归一化层,通过调整点算子的几何属性来稳定信号传播。实验表明该方法在 CIFAR-100 上优于孤立替换方案,支持 Batch Size 为 1 的训练,并在 ImageNet-1K 上成功扩展至 ResNet-50 和 ViT-B/16 模型。

来源:arXiv · 机器人与计算机视觉 · arxiv.org