arXiv · 机器人与计算机视觉· Haitang Feng, Zhuoman Liu, Zhennan Wang, Sheng Wang, Juelin Li, Chengzhi Zhao, Hexiang Wei, Lin Shao·· 20 天前精选AI 评分82
Seeing and Imagining as One:GenSight 统一视频生成与 4D 感知用于具身世界建模
Seeing and Imagining as One: Unified Video Generation and 4D Perception for Embodied World Modeling
AI 导读
论文提出了 GenSight,这是一个统一的具身世界模型,将未来视频生成和稠密感知整合进同一个预训练视频扩散 Transformer 中。该模型使用统一的时空表示处理视频、深度、具身分割和首帧相对 2D 光流,基于共享 DiT 骨干网络并通过轻量级任务调制在同一架构内预测所有模态。
推荐理由
该工作提出将视频生成与稠密感知统一于单一架构,为具身世界建模提供了新的跨模态一致性思路。
来源:arXiv · 机器人与计算机视觉 · arxiv.org