跳到正文
arXiv · 机器人与计算机视觉· Hong Huang, Chenhongyi Yang, Junzhe Sun, Animesh Sinha, Wuyang Chen, Yifan Jiang·· 2026-10-09AI 评分58

Omni-Diffusion-Distill:统一多模态扩散大模型的少步蒸馏方法

Omni-Diffusion-Distill: Few-Step Distillation of Unified Multimodal Diffusion Large Language Models

AI 导读

针对统一多模态扩散大模型(dLLMs)迭代解码成本高且现有蒸馏方法难以兼顾生成与理解的问题,本文提出 Omni-Diffusion-Distill 框架。该方法在离散 token 空间对齐图像与文本的蒸馏过程,通过两阶段训练让学生模型跳过解码步骤并优化中间状态,同时利用成对碰撞惩罚和熵匹配引导解决退化问题。

来源:arXiv · 机器人与计算机视觉 · arxiv.org