arXiv · 机器人与计算机视觉· Zihao Fan, Xin Lu, Jie Huang, Hexin Zhang, Xueyang Fu, Zheng-Jun Zha·· 16 天前精选AI 评分78
OmniOPD:面向稳定音视频生成的同策略蒸馏方法
OmniOPD: Stable On-Policy Distillation for Joint Audio-Video Generation
AI 导读
OmniOPD 是一种旨在解决联合音视频生成中跨模态干扰与音频监督稀疏问题的同策略蒸馏框架。该方法通过不对称噪声调度构建特权视觉信息以增强音频目标质量,利用分组多噪声采样扩大音频监督覆盖范围,并引入基于教师 - 学生转换分歧的时间步重要性加权来稳定训练波动。在 JavisBench 和 VBench 上的评估显示,该框架在保持音频质量的同时显著提升了视频生成效果。
推荐理由
针对多模态生成中音频监督稀疏导致的训练不稳定问题,提出基于特权视觉信息与分组采样的联合蒸馏框架。
来源:arXiv · 机器人与计算机视觉 · arxiv.org