arXiv · 机器人与计算机视觉· Yanlin Jin, Bowen Yang, Cheng Zhang, Yifan Yang, Zhe Li, Jianfei Cai, Kai Zhu·· 13 天前AI 评分65
EgoGeneralist:通过原生视频建模统一第一人称动作视频任务
EgoGeneralist: Unifying Egocentric Action-Video Tasks through Video-Native Modeling
AI 导读
论文提出了 EgoGeneralist 框架,旨在解决现代视频模型缺乏度量三维空间人体动作表示的问题。该工作利用预训练视频生成器,结合角色自适应动作渲染器和跨流动作 - 视频耦合机制,实现了动作条件的第一人称视频生成、姿态估计及联合生成等五项任务。尽管仅在受控实验室录制数据上进行适配,该方法在未见场景和交互中展现了有效的动作控制与视觉质量,成功桥接了预训练的视觉知识与度量三维人体运动。
来源:arXiv · 机器人与计算机视觉 · arxiv.org