arXiv · 机器人与计算机视觉· Yihong Luo, Tianyu Pang, Tianyang Hu·· 14 天前AI 评分58
VA-TDM:通过速度对抗蒸馏改进少步扩散模型的统一视角
VA-TDM: A Unified View for Improving Few-Step Diffusion Models by Velocity Adversarial Distillation
AI 导读
该论文针对少步蒸馏中保持生成质量难的问题,提出了速度对抗蒸馏(VAD)及其轨迹分布匹配变体 VA-TDM。方法利用学习到的评论家比较学生与教师场的差异,统一了分数蒸馏、基于 Fisher 的匹配和矩匹配等策略,并实现了过渡感知的在线速度学习与双重形式监督。实验表明该方法在文本到图像和视频生成中达到最先进四步性能,且在 33B MiniMax-H3 模型上表现优异,更接近原始多步生成的效果。
来源:arXiv · 机器人与计算机视觉 · arxiv.org