跳到正文
arXiv · 机器人与计算机视觉· Jiaao Yu, Yanjian Zhang, Haoyang Jiang, Guillaume Wisniewski, Nadi Tomeh, Shijie Jia·· 14 天前精选AI 评分83

TouchéWorld:面向生成式世界的在线统一相机与手部探索技术报告

Touch\'{e}World tech report : Towards Online Unified Camera--Hand Exploration in Generative Worlds

AI 导读

TouchéWorld 是一个将手势驱动交互整合进相机控制视频世界模型的框架。给定初始图像和场景描述提示词,该模型基于时间对齐的相机和手部控制生成视频。研究团队通过标注补全、一致性过滤和时间对齐构建了异构第一人称视频的联合相机与手部训练数据,并在预训练的相机控制世界模型基础上,结合空间手部骨架条件与数值手部运动特征进行参数高效适配。

推荐理由

该报告提出 TouchéWorld 框架,将手势驱动交互整合进相机控制的视频世界模型中。

来源:arXiv · 机器人与计算机视觉 · arxiv.org