Hugging Face Daily Papers·· 2026-10-14AI 评分63
Your Transformer Is Secretly Elastic:一种无需重训的 Transformer 弹性剪枝方法
Your Transformer Is Secretly Elastic
AI 导读
该论文介绍了一种无需重训即可将预训练 Transformer“弹性化”的方法,使其能根据计算预算动态适应不同稀疏度。核心贡献是对功能单元排序问题的可微松弛,联合优化每个 MLP 神经元和注意力头的排名。
来源:Hugging Face Daily Papers · arxiv.org