arXiv · 机器人与计算机视觉· Cheng-Chun Hsu, Peter Stone·· 14 天前精选AI 评分78
ELA:一种通过潜在动作从视频演示进行端到端学习的框架
ELA: End-to-End Latent Action Policy Learning from Video Demonstrations
AI 导读
ELA 是一种针对机器人模仿学习的新框架,旨在解决动作标注数据稀缺的问题。该方法联合训练潜在动作模型、潜在动作策略和动作解码器,能够从丰富的无动作标签视频演示中学习,并仅需少量带动作标签的机器人演示即可实现下游控制。实验表明,该框架在仿真和真实世界的操作任务中均优于现有的潜在动作基线方法,且通过轻量级 4M 参数动作解码器与现有模仿学习方法无缝集成,无需修改策略架构或训练目标。
推荐理由
ELA 框架联合优化潜在动作表示与解码,仅需少量标有动作的演示即可利用海量视频数据提升策略性能。
来源:arXiv · 机器人与计算机视觉 · arxiv.org