arXiv · 机器人与计算机视觉· Zile Huang, Ser-nam Lim·· 2026-10-20精选AI 评分78
DeMoE:面向单步扩散蒸馏的功能跨层专家路由方法
Functional Cross-layer Experts Routing for One-step Diffusion Distillation
AI 导读
Zile Huang 等人提出 DeMoE 架构,通过持久共享专家配合条件路由残差来解决单步扩散蒸馏中的内部容量分配问题。在 FLUX.2-4B 单步生成任务中,该方法 GenEval 得分为 0.8220,激活图像 FFN 宽度仅 80.5%,性能超越稠密基线并匹配 50 步教师模型。材料为 arXiv 预印本,代码已开源。
推荐理由
该文提出 DeMoE 架构,在单步蒸馏设置下实现优于稠密基线的生成质量与效率。
来源:arXiv · 机器人与计算机视觉 · arxiv.org