跳到正文
arXiv · 机器人与计算机视觉· Do\u{g}ukan Ba\u{g}c{\i}, Bernt Schiele, Simone Schaub-Meyer, Jonas Fischer, Robin Hesse·· 6 天前精选AI 评分83

DUNE:在不损失预测性能的前提下解耦多语义神经元

DUNE: Disentangling Polysemantic Neurons Without Losing Predictive Performance

AI 导读

针对深度神经网络中神经元响应多概念导致内部决策过程模糊的问题,现有稀疏自编码器等方法虽能提取单语义特征但会引入近似误差并损害下游性能。本文提出 DUNE 方法,通过将前层特定概念的贡献重路由到独立子单元且聚合时精确恢复原始激活值,实现了无误差的单语义分解。

推荐理由

提出 DUNE 方法,在解耦神经元多语义特征的同时保持模型原有功能,推动单语义性与功能保真度的平衡。

来源:arXiv · 机器人与计算机视觉 · arxiv.org