arXiv · 机器人与计算机视觉· Yucheng Xie, Fu Feng, Jing Wang, Xin Geng, Yong Rui·· 2 天前AI 评分75
特异性引导知识分流用于可分解生成模型
Specificity-Guided Knowledge Diversion for Decomposable Generative Models
AI 导读
针对现有知识分流方法参数开销大且依赖固定组件分配的问题,本文提出特异性引导知识分流(SGKDiv)。该方法从成对前馈通道构建知识单元,保留原生计算结构;结合校准的条件路由与互补正则化,实现自适应的知识专业化。实验表明,其在多种模型设置下优于稠密及 MoE 基线,且在八个数据集上展现出更强的下游适应能力。
来源:arXiv · 机器人与计算机视觉 · arxiv.org