arXiv · 机器人与计算机视觉· Hong Huang, Chenhongyi Yang, Junzhe Sun, Animesh Sinha, Wuyang Chen, Yifan Jiang·· 2026-10-09AI 评分58
Omni-Diffusion-Distill:统一多模态扩散大模型的少步蒸馏方法
Omni-Diffusion-Distill: Few-Step Distillation of Unified Multimodal Diffusion Large Language Models
AI 导读
针对统一多模态扩散大模型(dLLMs)迭代解码成本高且现有蒸馏方法难以兼顾生成与理解的问题,本文提出 Omni-Diffusion-Distill 框架。该方法在离散 token 空间对齐图像与文本的蒸馏过程,通过两阶段训练让学生模型跳过解码步骤并优化中间状态,同时利用成对碰撞惩罚和熵匹配引导解决退化问题。
来源:arXiv · 机器人与计算机视觉 · arxiv.org