跳到正文
arXiv · 机器人与计算机视觉· Oliver Hausd\"orfer, Felix Minzenmay, Mani Majd, Maximilian P. Christof, Shiyuan Zhang, Angela P. Schoellig·· 29 天前精选AI 评分82

基于多视角潜在动作预训练的跨具身机器人视频学习

Multi-View Latent Action Pretraining for Cross-Embodiment Robot Learning from Videos

AI 导读

针对单视角模型无法解决深度与遮挡问题导致 6D 动作解析模糊的局限,该研究提出一种利用同步多相机视图和交叉注意力机制压缩为潜在动作的模型架构。实验显示,双视角预训练相比单视角将真实 6D 动作的可解码性提升 17%,下游策略成功率提升幅度从 +6.2% 增至 +13.5%。

推荐理由

该研究提出多视角潜在动作预训练方法,在跨具身迁移和硬件部署上均验证了视频数据对提升机器人操作成功率的有效性。

来源:arXiv · 机器人与计算机视觉 · arxiv.org