arXiv · 机器人与计算机视觉· Arun Prakash A·· 4 小时前精选AI 评分78
Learn, Freeze, and Transfer an Activation Function Across Architectures
Learn, Freeze, and Transfer an Activation Function Across Architectures
AI 导读
本文提出 Learn-Freeze-Transfer 协议,研究将学习到的激活函数跨架构迁移至从头训练的神经网络。作者设计了五参数点激活函数 FAct(基于截断傅里叶级数),在 ViT 上训练后冻结并复用。
推荐理由
提出 Learn-Freeze-Transfer 协议,证明学习得到的激活函数可跨架构迁移并提升从头训练网络的精度。
来源:arXiv · 机器人与计算机视觉 · arxiv.org