跳到正文
arXiv · 机器人与计算机视觉· Xiaolei Lang, Ze Kang, Zehao Huang, Naiyan Wang·· 23 天前精选AI 评分78

RoGe:基于端到端隐式重建与生成的新视角合成方法

RoGe: Novel View Synthesis via End-to-End Implicit Reconstruction and Generation

AI 导读

论文提出 RoGe 框架,解决稀疏输入下新视角合成的几何与生成先验结合难题。该方法利用前馈重建模型从少量定位图像构建隐式场景表示,通过相机射线查询获取每视图几何特征并注入视频扩散模型作为条件,全程无需显式 3D 中间表示。联合训练使生成目标直接塑造几何条件,实验表明其在图像质量、时间一致性和几何一致性上优于现有重建、生成及混合基线。代码将在发布后公开。

推荐理由

提出 RoGe 框架,通过端到端隐式重建与生成联合训练,消除显式中间表示误差,提升稀疏视图下的视频合成质量与时空一致性。

来源:arXiv · 机器人与计算机视觉 · arxiv.org