跳到正文
arXiv · 机器人与计算机视觉· Yucheng Xie, Fu Feng, Ruixiao Shi, Jing Wang, Xin Geng, Yong Rui·· 2026-10-20精选AI 评分82

知识分流:一种用于可分解图像生成模型预训练的新范式

Knowledge Diversion: A Novel Paradigm for Pre-training Decomposable Image Generation Models

AI 导读

针对大规模预训练模型中可迁移知识与任务特定知识纠缠的问题,本文提出知识分流(KDiv)范式。该方法在预训练前将随机初始化权重分解为秩一的知识单元,并组织成学习基因和尾部模块;通过连续的条件感知路由机制,在预训练过程中将跨条件的共享知识聚合到学习基因,而将条件依赖的变化导向尾部模块。实验表明,该模型在类、文本及图像条件下的生成任务中,能以与低秩适配方法相当的参数预算实现最强的平均下游性能。

推荐理由

提出知识分流预训练范式,通过结构化权重分解实现生成先验与条件知识的解耦复用。

来源:arXiv · 机器人与计算机视觉 · arxiv.org