跳到正文
arXiv · 机器人与计算机视觉· Chenru Wang, Xuanyang Zhang, Yucheng Han, Wenbo Nie, Wei Cheng, Xianfang Zeng, Gang YU, Chi Zhang·· 15 天前AI 评分65

StepX-OPD:重新思考扩散模型中的多教师同策略蒸馏

StepX-OPD: Rethinking Multi-Teacher On-Policy Distillation in Diffusion Models

AI 导读

论文提出 StepX-OPD,将原本分阶段进行的多教师同策略能力整合与少步采样合并为单阶段训练。该方法让一个学生在接受冻结专家监督的同时学习少步采样,通过回归低噪声部分的 velocity 来解决 rollout 的 KL 权重速度失配问题,并针对能力整合导致的非请求文本生成问题提供了改进变体。

来源:arXiv · 机器人与计算机视觉 · arxiv.org