跳到正文
arXiv · 机器人与计算机视觉· Long Vu, Tan Ngo, Animesh Karnewar, Amir Habibian, Binh-Son Hua, Hung Bui, Minh Hoai Nguyen, Phong Nguyen·· 16 天前精选AI 评分78

UniCaMo:统一相机与运动控制的视频扩散模型框架

UniCaMo: Unified Camera and Motion Control for Video Diffusion Models

AI 导读

UniCaMo 是一个用于图像和文本生成视频的扩散模型框架,能够联合控制相机与物体运动。该方法基于参考图像、文本提示、稀疏 3D 物体轨迹及 3D 相机轨迹构建运动一致的输入噪声,结合参考衍生的噪声传播与新区域球高斯噪声表示,无需重建未观测场景几何即可提供有效的运动先验。

推荐理由

提出无需修改架构的联合相机与物体运动控制框架,通过轻量微调实现视频扩散模型的先进运动可控性。

来源:arXiv · 机器人与计算机视觉 · arxiv.org