arXiv · 机器人与计算机视觉· Derong Jin, Xiyi Chen, Ming C. Lin, Ruohan Gao·· 20 天前AI 评分33
SonoWorld4D:通过扩散同步将单目视频转化为可探索的 4D 视听场景
SonoWorld4D: From One Video to a 4D Audio-Visual Scene via Diffusion Synchronization
AI 导读
SonoWorld4D 框架接收单目视频输入,生成包含动态物体运动轨迹与物理一致声场的 360 度静态背景及 4D 场景。该方法利用双空间音频扩散同步技术,实现了实时新视角视觉与空间音频渲染。真实世界动态场景评估与用户研究表明,生成的视听场景在几何与内容上具备感知真实的物理基础。
来源:arXiv · 机器人与计算机视觉 · arxiv.org