通过阶段条件化策略优化学习多相机器人移动 - 操作技能
针对复杂长视界全身移动操作任务,本文扩展近端策略优化(PPO),利用先验任务结构训练单一策略以支持多种硬件平台。方法采用阶段条件化评论家、阶段门控奖励函数及多阶段重置课程来引导探索,并解耦底层平衡动力学与高层相位执行。作者在 Unitree G1 和配备操作臂的 Boston Dynamics Spot 上验证了该方法能获取复杂的移动 - 操作技能,且无需依赖人类运动数据。
针对复杂长视界全身移动操作任务,本文扩展近端策略优化(PPO),利用先验任务结构训练单一策略以支持多种硬件平台。方法采用阶段条件化评论家、阶段门控奖励函数及多阶段重置课程来引导探索,并解耦底层平衡动力学与高层相位执行。作者在 Unitree G1 和配备操作臂的 Boston Dynamics Spot 上验证了该方法能获取复杂的移动 - 操作技能,且无需依赖人类运动数据。
论文提出 StepTrigger,这是一种针对 VLM 赋能的四足机器人的接触状态触发后门攻击方法。不同于传统的语言或视觉触发器,该方法利用四足机器人在密集地形行走时产生的脚底压力与地面接触模式作为触发信号。
针对现有运动重定向方法过于侧重运动学相似性而忽视全身动力学、接触一致性和执行器限制的问题,本文提出一种基于直接模拟的接触隐式多射击(DSMS)框架。该框架将可微分模拟器嵌入非线性规划中,在内部解决接触、摩擦、碰撞及关节限位问题,同时施加跟踪与任务约束,无需预设接触时间表或引入显式接触约束。
PrepTurn 是一个强化学习框架,通过直接映射当前与下一姿态目标到关节动作,利用持久信用奖励和自动课程解决序列任务中的走走停停问题。Unitree Go2 的仿真与车载实验表明,该方法实现了高效遍历、高完成率及减少的非必要停顿。当容差放宽时,策略还能涌现提前转向等新兴行为以提升效率。
论文提出 Zero-HLM 框架,旨在解决类人机器人行走与操作泛化受限于昂贵真实演示的问题。该方法通过高斯引导的智能体重建将手机捕获数据对齐至物理场景,并利用运动与环境共适应机制修正全身参考与交互几何。
推荐理由:提出 Zero-HLM 框架,利用手机数据与仿真生成零样本迁移演示,将 Unitree G1 任务成功率从 46.7% 提升至 66.7%,无需额外真实机器人数据。
针对人形机器人在真实部署中因物理扰动或仿真不准导致的训练 - 部署差距问题,本文提出 HumanoidNDM 在线微调框架。该方法在数据采集阶段引入低频自适应参考扰动机制,在模型训练阶段利用可微前向运动学构建基于本体的神经动力学模型以消除对昂贵动作捕捉系统的依赖,并在策略微调阶段通过反向传播梯度直接优化策略。
推荐理由:提出首个无需动作捕捉的在线微调框架,通过本体感知神经动力学模型实现人形机器人对扰动的快速适应。
针对视觉语言导航(VLN)中现有可解释性方法忽视指令阶段差异的问题,本文提出了一个阶段感知的归因框架。该方法构建动作条件的时间序列指令 - 视觉归因,将其投影到指令空间以估计阶段关联,从而聚合历史证据并优化当前解释;同时利用指令引导的空间滤波器抑制孤立响应并保留紧凑的相关区域。
研究在 Unitree Go2 四足机器人搭载 AgileX Piper 机械臂上,通过调整模型变体、动作视界及演示规范,成功实现了闭环行走操作。扩大演示覆盖范围使未见末端执行器误差降低 30%,引入推等次要技能增加了新行为模式而未降级基线性能。真实世界实验验证了数据集构成对复杂行走操作成败的影响,确立了从桌面到移动机器人的部署管线。
思灵机器人与英伟达在GTC大会上联合发布面向科研的人形机器人Agile ONE SN,该产品基于Isaac GR00T开发平台打造并预配置完整软件栈。硬件方面本体高1.4米、重43公斤,具备31个自由度,板载Jetson Thor计算平台及多视角传感系统。
本周具身智能领域大事如下:宇树科技股价反弹,市值重回2500亿元;传松延动力秘密向港交所提交上市申请;特斯拉Optimus在弗里蒙特工厂启动早期生产,规划年产能100万台。
针对现有行为基础模型仅能执行预定义动作且缺乏环境适应性的问题,论文提出 ReactiveBFM 实时闭环规划控制框架。该方法通过调度前缀采样课程缓解暴露偏差,使生成式规划器从不完美的物理状态中学习误差恢复;引入异步重规划机制解决自回归规划与高频跟踪的延迟失配,结合轨迹分块保证时空流畅执行。
推荐理由:提出 ReactiveBFM 框架,通过前缀采样缓解暴露偏差并解决规划延迟问题,在 Unitree G1 上实现零样本移动目标抓取与高成功率闭环控制。
针对动态场景中非马尔可夫特性导致线索消失的问题,本文提出 WholeBodyMem 方法,利用 SAM3 追踪任务物体并因果选择关键帧构建感知记忆,供动作专家通过交叉注意力读取。该方法在仿真和真机(宇树 G1)上均显著优于无记忆及均匀采样基线,将基础策略成功率分别提升至 72.6% 和 88.3%,同时改善了标准 SIMPLE 任务表现。作者开源了包含六个仿真与六个真机任务的 HuMeGo 基准。
推荐理由:提出 WholeBodyMem 方法,利用预历史记忆将仿真与真机任务成功率分别提升至 72.6% 和 88.3%,并开源 HuMeGo 基准。
针对人形机器人独立采集的动作难以连续拼接的问题,论文提出 Spatio-Temporal Alignment with a Motion Prior (STAMP) 框架。
该研究提出一种名为 STR 的方法,利用时空偏好将人类演示转化为全身控制与操作轨迹。通过视觉语言模型选择关键信号与身体部位,并在关键帧分配额外求解迭代次数及更高交互权重,同时引入力学感知接触锚定优化物体表面接触位置。
该研究在模拟 Unitree G1 上训练策略,发现地球训练的模型在月球平坦刚性地面生存率为 0.64 至 0.75,而月球训练策略无法站立于地球。粗糙地形训练将地球和月球的综合瓦片生存率分别提升至 0.98 和 0.99,且重力随机化策略在关键测试单元的平均生存率至少为 0.84(地球)和 0.96(月球)。所有结果均为基于接触模型与土壤刚度的仿真预测。
论文提出了 RISE 方法,旨在让人形机器人在跌倒后根据场景和任务需求灵活选择恢复姿势与路径。该方法通过学习恢复词汇表连接意图与动作,并利用视觉扩散规划器预测未来状态以引导运动生成。实验在仿真中展示了多样化的恢复策略、地形适应及无需重训练的测试时导向能力,并在宇树 G1 机器人上进行了实物演示。材料为预印本版本,仅包含摘要信息。
推荐理由:该工作提出 RISE 方法,利用视觉扩散规划器在推理阶段引导人形机器人跌倒恢复策略,支持任务目标导向的多样化动作生成。
针对优化重定向管道和未来帧条件引入的计算延迟问题,本文提出 HuMiT 系统,其统一跟踪策略仅需当前帧的根高度、速度及四个稀疏关键点 SE(3) 姿态作为紧凑参考目标。实验显示该系统在头戴设备流与策略输出间实现约 20ms 通信推理延迟,跨不同运动类型的光流延迟中位数为 65ms。研究在宇树 G1 人形机器人上验证了系统,展示了接住抛球等秒级反应能力及协调的行走操作能力。
推荐理由:提出仅需稀疏参考目标的低延迟全身遥操作策略,在 Unitree G1 上实现约 20ms 通信推理延迟与 65ms 光流延迟。
该论文提出 RangeNav,这是一个仅含 183k 参数的紧凑 LiDAR 范围图像编码器,完全基于合成数据预训练。模型采用各向异性卷积和圆形填充以处理范围图像的极端宽高比与经线问题。
针对视障人士使用导盲犬或手杖在陌生区域导航时的不确定性问题,该研究提出了 Context-Aware Navigation Explanation 框架,利用大语言模型将感知上下文与规划的未来轨迹整合,生成自然语言的机器人移动解释。
宇树科技于 10 月 21 日发布新款人形机器人"H2-X 功夫传奇 守护”,最长续航可达约 8 小时。视频展示其能徒手抬起汽车、从 4 米高空平稳落地及踢凹车门等高强度动作。该机器人或面向应急救援、安保防护等领域,打破高动态人形机器人耗电高的固有认知。
论文提出 REACT 框架,旨在从人机演示中学习可部署的人形机器人交互策略。该方法利用视觉语言模型(VLM)进行语义接触建模与重定向,将人类伙伴的遮挡状态转化为生成式预测目标以弥补感知缺失。研究在仿真及宇树 G1 真机平台上验证了该框架在五种高接触密度交互任务中的有效性,证明其能仅凭机载传感器完成操作。
推荐理由:提出 REACT 框架,利用 VLM 进行接触重定向与生成式伙伴建模,解决人形机器人与人类交互中的严重遮挡问题。
论文提出 SuperMimic 方法,通过拟合标准刚体仿真器的日志过渡数据构建单一可微世界模型,与跟踪策略在单循环中联合训练并利用时间反传播获取解析梯度。该方法在单 GPU 上 3 小时即超越基线(128 GPU 训练 7 天),将 GPU 工时降低超 1000 倍,并在 129,514 个基准动作中仅失败 25 次;经过 9.8 小时双 GPU 训练后实现零失败。
推荐理由:该工作提出用可微世界模型统一处理全身运动跟踪,将训练时间从 7 天降至 3 小时且失败率大幅降低。
针对大规模人形运动捕捉数据在迁移到不同机器人时面临的挑战,论文提出了 FRDV 框架。该框架包含快速约束运动学重定向阶段和额外的动力学验证管道,利用自定义求解器实现高达每秒 9156 帧的处理速度,约为 GMR 和 ProtoMotions 的 136 倍。
推荐理由:提出 FRDV 框架,结合快速运动学重定向与动力学验证,显著提升人形机器人动作迁移效率并减少物理冲突。
LocoPilot 是一个在 Unitree Go2 四足机器人搭载 AgileX Piper L 机械臂上实现的单操作员双边遥操作与数据收集框架。该系统利用第二只机械臂作为领导者及两个手持控制器,同时控制基座、身体姿态、机械臂和夹爪;通过被动约束的触觉通道向操作员渲染估计的作用力,无需专用力/扭矩传感器。
该预印本论文提出了一个姿态感知导航框架,核心包含自适应穿越管(ATT)、区间速度 - 航向控制及侧步增强的 AMP 运动先验。该方法通过连续信号统一几何通行与社会避让需求,将宽度映射为前向至侧移的姿态调度与全向速度指令,并设计了基于 GVHMR 重定向的运动策略以提升过渡稳定性。材料仅展示 MuJoCo 仿真演示与 Unitree G1 的部署计划,定量结果待后续发布。
EmbodyHOI 提出一种在采样循环内运行特定人形机器人可微逆运动学求解器的方法,将机器人可达性约束直接融入手物交互轨迹的生成过程。该方法通过反馈梯度联合优化机器人与物体的相对位置,使得基于人类手部姿态训练的模型无需重新训练即可跨不同人形机器人架构迁移。
优必选与阿联酋拉斯海玛政府国际关系办公室签署战略合作备忘录,双方将建立综合合作框架,推进人形机器人在工业自动化、公共服务等四大场景的实景测试与系统部署。优必选将在当地提供沙盒测试环境和前瞻性监管框架下,依托自身平台与技术基础设施开展示范项目,重点在高温、高日照与沙尘等严苛环境中进行长期耐久测试与压力测试,以积累实测数据并验证系统在阿联酋及海湾地区的实际应用性能。
宇树科技连续两日大涨,股价最高触及556元,总市值突破2100亿元。此次反弹直接受商务部等9部门发布《关于加快推进科技兴商的意见》及机器人板块整体走强影响。尽管公司营收与净利增长显著,但当前市盈率仍高达360倍,且股价较上市首日高点大幅回撤,后续业绩持续兑现与人形机器人从“卖得动”到“用得好”的跨越仍是决定估值的关键。
近日,国家市场监督管理总局批准发布GB/T 48317.2—2026《人形机器人技术要求 第2部分:环境感知》等6项人形机器人国家标准,将于2027年4月1日正式实施。
GRAIL 是一种数字生成管线,通过结合 3D 资产和仿真就绪场景构建视频世界模型,无需重建物理环境即可合成交互数据。该方法利用已知的几何参数减少深度模糊,恢复度量级的人机物交互轨迹,并训练任务通用的跟踪器以适配人形机器人。仅使用 GRAIL 生成的数据,团队在 Unitree G1 上实现了多样化物体拾取 84% 的成功率和爬楼梯 90% 的成功率。
推荐理由:GRAIL 利用全虚拟的数字生成管线合成人形机器人操作数据,在 Unitree G1 上实现了高成功率的任务部署。
针对现有方法依赖预定义动作参考且难以扩展技能库的局限,该研究提出 ULTRA 统一框架。其核心包含物理驱动神经重定向算法,用于将大规模动捕数据迁移至人形机器人并保持接触交互的物理合理性;以及支持从精确动捕状态到嘈杂自中心视觉输入的通用多模态控制器。
推荐理由:该工作提出 ULTRA 框架,通过物理驱动重定向与统一多模态控制器,实现从稀疏感知到全身自主 loco-manipulation。
论文提出 BFM-Zero 框架,旨在统一人形机器人的多样化控制任务。该框架利用无监督强化学习和前向 - 后向(FB)模型构建共享隐空间,将动作、目标与奖励嵌入其中,支持在不重新训练的情况下通过提示进行下游任务适配。实验在宇树 G1 真机上进行,验证了其在零样本运动追踪、目标到达及奖励优化等任务上的有效性,并展示了从仿真到现实的迁移能力。
推荐理由:提出 BFM-Zero 框架,利用无监督强化学习与前向 - 后向模型构建可提示的共享隐空间,在宇树 G1 真机上实现零样本运动追踪与目标到达。
针对人形机器人手臂技能复用难题,论文提出HS-MoDP模型,利用共享专家池和语义调度器实现多臂技能组合与位置迁移。开发G1Exo外骨骼提供关节级直接控制,相比末端VR-IK遥操更可靠,使整机柜工作流成功率从35%提升至65%,并在四种策略架构上提升接触技能学习效果。项目硬件设计与源代码将在评审后开源。
论文提出 SWAP 分层框架,将感知条件扩散模型用于生成多模态避障运动提议,低层强化学习控制器负责跟踪与平衡维持。利用回溯标注技术通过随机化命令和障碍布置实现高效监督,部署时采用蒙特卡洛采样引导模型向安全行为对齐。在仿真及宇树 G1 真机实验中,该方法在静态与动态障碍物下均表现可靠,测试时引导使特定奖励提升约 34% 同时保持高避障率。
针对小型视觉语言模型在具身智能任务中能力不均的问题,本文提出一种将感知证据转化为结构化决策的导航框架。该方法在每一步向模型询问两个感知问题(方向判断与停止依据)及一个路径指令查询,利用鸟瞰图上的语义场、骨架图与两阶段终止器处理结果。
Unitree Go2 平台实验显示,基于前瞻马尔可夫决策过程(Look-Ahead MDP)的轻量级高度图监督器能统一远近场约束,显著减少迟滞切换并降低无效步态耗时。相比调优后的反应式基线,该方法在室内外混合地形中提升了翻滚稳定性且无需针对特定场景重新调整。该研究以预印本形式发布于 arXiv,代码与权重暂未提及开放许可。
论文提出了 DiPLO 框架,结合自蒸馏扩散规划器与低层全身跟踪策略以解决人形机器人行走与操作协同难题。该框架先通过人类到机器人的动作重定向进行监督预训练,再经自蒸馏去除对强任务条件的依赖,最后利用扩散增强近端策略优化(DA:PPO)微调以提升成功率并适配冻结的跟踪器执行能力。
针对人形机器人在多样任务中需兼顾高层决策与物理响应的挑战,本文提出 FIBER 框架,利用冻结行为基础模型(BFM)的可执行潜在空间作为共享规划表示。通过潜在策略投影(LPP),将独立习得的特定任务策略映射至该空间,在保持高频状态反馈的同时实现低频规划。
Unitree H1-2 研究对比了人类导引运动与机器人特定运动在建筑搬运任务中的表现。后者利用逆运动学及最小加加速度策略,将四组目标任务的执行时间从 25.03 秒缩短至 12.87 秒,轨迹长度减少至 0.92 米且机械功仅为 58.7 焦耳。结果表明允许机器人偏离人类演示动作可显著提升运动执行效率,但需更多任务验证其生产力增益。
论文提出 CODES 框架,通过运动重定向、弱监督共识编码和密度聚类从多样化记录中自动发现连贯的运动风格库,并利用强化学习训练策略将风格与独立任务指令进行组合。该方法在宇树 Go2 四足机器人上进行了仿真与真实硬件评估,相比基线显著提升了运动学一致性,且能追踪超出录制数据支持范围的指令,展现出稳健的风格特征。