跳到正文
arXiv · 机器人与计算机视觉· Yanke Song, Shuo Chen, Chris Rockwell, Guande He, Nan Liu, Desai Xie, Tianpei Gu, Yong-Hyun Park, Aryan V S, Dennis Yuren Menn, Ming-Hsuan Yang, Xun Huang·· 6 天前AI 评分73

Back to Pixels:将潜空间视频扩散模型提升至像素空间

Back to Pixels: Lifting Latent Video Diffusion into Pixel Space

AI 导读

该论文提出 PixVid 方法,通过将预训练的 Wan2.1-14B 潜空间视频扩散模型的 VAE 解码器替换为卷积头,使其直接在像素空间生成每一帧。该方法预测干净视频而非速度场,并配合更大的噪声偏移以提升质量。在约 130 万训练片段上微调后,PixVid 与潜空间基线保持竞争力,支持两倍分辨率下的相同每帧 token 数,并在快速运动下保持深度条件编辑的对齐性,且能逐帧响应动作。

来源:arXiv · 机器人与计算机视觉 · arxiv.org