arXiv · 机器人与计算机视觉· Biaoliang Guan, Tingyu Yuan, Wen Ye, Ziming Ji, Xu Yang, Yan Huang, Jihua Zhu, Chaoyang Zhao·· 17 天前精选AI 评分78
Nexus-VLA:通过共享分层语义隐空间桥接人类与机器人经验
Nexus-VLA: Bridging Human and Robot Experiences via a Shared Hierarchical Semantic Latent Space
AI 导读
针对大规模自中心人类视频存在视觉外观、运动学结构和动作空间等本体差距的问题,论文提出 Nexus-VLA 混合策略学习框架。该框架引入分层跨本体语义对齐范式,从任务意图到细粒度交互逐步建立共享操作语义,并设计共享操作隐表示以直接用于连续动作生成。在 RoboCasa-GR1、OOD 设置及真实机器人实验中,该方法实现了 80.5% 的任务成功率,展现了高效的人类数据利用率和跨场景泛化优势。
推荐理由
提出 Nexus-VLA 框架,通过端到端联合训练实现跨本体知识迁移,在 RoboCasa-GR1 上达到 80.5% 成功率。
来源:arXiv · 机器人与计算机视觉 · arxiv.org