arXiv · 机器人与计算机视觉· Hongbo Ma, Sansheng Cao, Jiajun Fan, Bangji Yang, Ge Liu·· 29 天前精选AI 评分78
$S^3$: 谱域零空间交换让推理模型更高效
$S^3$: Spectral Null-Space Swap Makes Reasoning Models Efficient
AI 导读
论文提出S3(Spectral Null-Space Swap)方法,这是一种无需训练的成对检查点组合策略。研究指出推理能力的核心存在于非思考模型主导奇异方向投影的零空间中,移除该分量可大幅提升效率而不损害准确率。实验在2B至30B参数量的稠密及MoE架构上验证,相比完整思考模型,S3平均降低27.4%推理token开销,同时整体任务准确率提升1个百分点(如在HMMT25上准确率达+8.3%)。
推荐理由
提出S3方法,通过交换非思考与思考模型的零空间权重,在推理效率提升27.4%的同时保持准确率。
来源:arXiv · 机器人与计算机视觉 · arxiv.org