跳到正文
arXiv · 机器人与计算机视觉· Yiyuan Ge, Changxing Ding, Ziyu Hao, Zijie Zheng, Xiangmin Xu·· 2 天前AI 评分56

Lift, See, Act:基于 3D 基础模型的机器人策略分层预训练

Lift, See, Act: Hierarchical Robot Policy Pretraining with 3D Foundation Models

AI 导读

针对人类视频数据缺乏显式动作相关表征的挑战,本文提出 LSA 分层预训练框架。该方法通过 Lift 阶段将 2D 观测自适应对齐至 3D 基础模型中间表征以获取稠密表示;See 阶段引入深度图重建与手部区域提示以增强几何感知与交互热点关注;Act 阶段实现鲁棒的机器人操作。

来源:arXiv · 机器人与计算机视觉 · arxiv.org