跳到正文
arXiv · 机器人与计算机视觉· Prakhar Kaushik, Shravan Chaudhari, Ankit Vaidya, Rama Chellappa, Alan Yuille·· 2026-10-06精选AI 评分82

通用权重子空间假设:跨任务与架构的共享低维结构发现

The Universal Weight Subspace Hypothesis

AI 导读

论文通过超过 1200 个模型的谱分析(包括 500 个 Mistral-7B LoRA、500 个 Vision Transformer 和 50 个 LLaMA-8B),首次提供大规模实证证据,证明无论初始化、任务或领域如何,神经网络系统性地收敛到共享的谱子空间。

推荐理由

大规模实证表明不同架构与任务下的神经网络收敛至共享的低维参数子空间,为模型复用、多任务学习及高效算法设计提供新视角。

来源:arXiv · 机器人与计算机视觉 · arxiv.org