arXiv · 机器人与计算机视觉· Ruicong Liu, Yifei Huang, Liangyang Ouyang, Caixin Kang, Yoichi Sato·· 10 天前精选AI 评分82
基于流式第一人称 3D 手部动作预测的操纵表征学习方法 SFHand
Predictive Representation Learning for Manipulation via Streaming Egocentric 3D Hand Forecasting
AI 导读
论文提出 SFHand,这是一种首个通过流式第一人称 3D 手部动作预测进行表征学习的方法。该方法利用自回归架构从视频和语言指令中连续预测未来手部状态(包括手部类型、2D 边界框、3D 姿态及轨迹),并配备 ROI 增强记忆层以捕捉时间上下文。
推荐理由
提出通过流式第一人称手部动作预测进行表征学习,开源了配套数据集与模型,在仿真及真实世界操作中均取得领先性能。
来源:arXiv · 机器人与计算机视觉 · arxiv.org