跳到正文
arXiv · 机器人与计算机视觉· Arun Prakash A·· 4 小时前精选AI 评分78

Learn, Freeze, and Transfer an Activation Function Across Architectures

Learn, Freeze, and Transfer an Activation Function Across Architectures

AI 导读

本文提出 Learn-Freeze-Transfer 协议,研究将学习到的激活函数跨架构迁移至从头训练的神经网络。作者设计了五参数点激活函数 FAct(基于截断傅里叶级数),在 ViT 上训练后冻结并复用。

推荐理由

提出 Learn-Freeze-Transfer 协议,证明学习得到的激活函数可跨架构迁移并提升从头训练网络的精度。

来源:arXiv · 机器人与计算机视觉 · arxiv.org