ROOT:发现用户指定具身行为的奖励函数
ROOT 是一种用于发现奖励函数的框架,旨在使学习策略与用户指定的具身行为对齐。该方法将奖励设计转化为对持久实验树的观察引导搜索,利用视频语言模型提炼的行为洞察来诊断失败并指导奖励优化。
推荐理由:ROOT 框架通过可观测树搜索与视频语言模型诊断,解决了 LLM 生成奖励函数难以捕捉细微行为属性的问题。
公司与机构
人形与四足机器人、产品规格和开发资源,关注硬件平台与真实自主能力。
45 条精选近 30 天 27 条共收录 172 条
ROOT 是一种用于发现奖励函数的框架,旨在使学习策略与用户指定的具身行为对齐。该方法将奖励设计转化为对持久实验树的观察引导搜索,利用视频语言模型提炼的行为洞察来诊断失败并指导奖励优化。
推荐理由:ROOT 框架通过可观测树搜索与视频语言模型诊断,解决了 LLM 生成奖励函数难以捕捉细微行为属性的问题。
针对人形机器人全身控制器在线学习新技能易导致旧技能遗忘的问题,研究提出 Similarity-guided LoRA-PNN 方法。该方法通过动态时间规整聚合的最优传输构建两级运动相似性度量,自动决定基于何种先验技能及分配多少新容量,从而在无需重访历史数据的情况下实现强正向迁移与高平均准确率。
推荐理由:提出利用动态时间规整与最优传输构建相似性引导策略,在六个连续技能类别中实现最佳正向迁移并节省 94.5% 可训练参数。
该研究针对现有通用策略无法保持清洁单腿站立的难题,提出了一种基于支撑脚相对坐标系的动态质心观测方法,使捕捉点状态可仅由关节编码器和惯性测量单元重构。作者开发了无需蒸馏的策略 DDC,在 Unitree G1 上实现了 90 个测试动作中 89 个的清洁单腿平衡能力。材料开源了策略、数据及 MuJoCo 基准评测工具,旨在将单腿平衡从演示任务转化为可量化的通用能力。
推荐理由:提出无需蒸馏的平衡策略,在仿真基准上实现单腿站立,并开源数据与评测工具。
论文研究人形机器人在未训练过的任务中通过复用现有技能、自我改进并保留学习成果的能力。核心思路是利用规划与控制接口,将对象感知基础模型转化为行为策略,并通过大语言模型修订奖励程序结构、数值优化器调整常数,在仿真中验证后迭代提升。实验表明该方法能释放基础模型的潜在能力,处理复杂场景与长周期任务,并在宇树 G1 真机上实现自主运行。
推荐理由:该文提出无需重训的测试时演化方法,利用对象感知基础模型与奖励程序优化,在仿真及宇树 G1 真机上实现复杂任务。
LeRobot v0.5.0 是该项目最大规模的更新,核心新增包括首次支持宇树 G1 人形机器人(含全身控制与遥操作)、引入 Pi0-FAST 自回归视觉语言动作模型及实时分块推理技术、集成 NVIDIA IsaacLab-Arena 仿真环境。
推荐理由:LeRobot v0.5.0 首发 Unitree G1 人形机器人支持并引入 Pi0-FAST 等策略,同时通过 EnvHub 实现仿真环境从 Hugging Face Hub 直接加载。