Learning Generalizable Hand-Object Tracking from Synthetic Demonstrations
该论文提出一种完全基于合成数据的系统,用于训练通用的手物跟踪控制器,无需人类演示。核心贡献包括 HOG 高效数据生成器和 HOT 跟踪器,后者通过强化学习和交互模仿学习实现从仿真到物理的迁移。方法支持多种物体形状和手部形态,并能在不同仿真器间迁移。评估显示该系统能让灵巧手处理包含物体重排和敏捷内部转向的挑战性长序列任务,旨在解决灵巧操作的数据瓶颈问题。