跳到正文
arXiv · 机器人与计算机视觉· Chenxu Zhou, Zhiyuan Yu, Yudong Jin, Yinji Shentu, Yu Zhang, Jiaming Sun, Xiaowei Zhou·· 28 天前精选AI 评分78

RealMe:基于高分辨率视频扩散模型的沉浸式体素视频生成框架

RealMe: Immersive Volumetric Video from Minimal Captures

AI 导读

论文提出 RealMe 框架,利用高分辨率视频扩散模型将稀疏、低分辨率的采集资源增强为 2K 分辨率且具备 4D 一致性的视频。该方法通过构建辅助数据并引入布局感知的位置嵌入,结合因子化时空注意力机制处理多视角与时间动态,同时应用潜在频率损失以缩小生成视频与真实采集的数据差距。

推荐理由

该工作提出基于高分辨率视频扩散模型的统一框架,解决稀疏低分辨率采集下的 4D 一致性问题。

来源:arXiv · 机器人与计算机视觉 · arxiv.org