Heave-Ho:去中心化长程多个人形协作框架
论文介绍 Heave-Ho 框架,旨在解决人形机器人长程协作中的全身交互、长期规划与同步难题。该框架在底层利用多智能体后训练适配物理耦合交互,在高层训练视觉语言规划器并设计基于语音的领导者 - 跟随者协调机制,实现无需网络通信的去中心化执行。
推荐理由:提出去中心化多个人形协作框架,通过视觉语言规划与语音协调机制实现无需网络通信的长程协同。
论文介绍 Heave-Ho 框架,旨在解决人形机器人长程协作中的全身交互、长期规划与同步难题。该框架在底层利用多智能体后训练适配物理耦合交互,在高层训练视觉语言规划器并设计基于语音的领导者 - 跟随者协调机制,实现无需网络通信的去中心化执行。
推荐理由:提出去中心化多个人形协作框架,通过视觉语言规划与语音协调机制实现无需网络通信的长程协同。
针对现有系统仅能实现有限唇部运动或脚本化表情的局限,本文提出 ROSE 框架,整合仿生硬件与跨具身运动表示学习。硬件上构建集成 34 个执行器的 19.5 cm 仿生头部结构;算法上利用 ROSE-VAE 从人、数字人和机器人观测中学习身份无关的共享面部运动隐空间,ROSE-Flow 直接将文本或音频映射为运动轨迹,ROSE-ACT 将其转换为受约束的执行器指令。
推荐理由:提出 ROSE 框架,通过解耦执行器布局与面部动作点实现紧凑头部全脸表达,并构建跨模态运动生成管线。
论文提出了 XMimic 和 XSoma 两个模型,利用世界模型优化策略并通过并行计算将类人机器人在粗糙地形的运动追踪与移动训练时间压缩至一分钟以内。
推荐理由:原文介绍了利用世界模型与并行计算将类人机器人运动追踪训练压缩至一分钟内的方法,相关团队可据此评估其加速潜力。
论文提出了 MoViC 框架,利用无穿戴设备的单目 RGB 视频流作为信号,通过单目人体运动重建、机器人重定向及 Transformer 行为基础模型实现实时全身模仿。策略融合本体感知历史与显式下一步参考,采用频域运动表示降低输入维度;部署时通过外推方法桥接 10Hz 视觉估计与 50Hz 控制器以支持异步处理。实验展示了在单目 RGB 输入下对双手动及单手操作任务的高动态跟踪与无设备遥操作能力。
推荐理由:该工作提出无需穿戴设备的单目视频实时全身控制框架,结合运动重建与行为基础模型实现动态任务。
论文提出了 Tactile-Driven Motor Adaptation(TMA)方法,旨在解决具身智能在关节化环境中进行强力多指操作的挑战。该方法利用触觉反馈构建策略学习结构,以圆锥几何作为多指接触表示的归纳偏置,并基于触觉历史在线调整电机行为。
推荐理由:提出触觉驱动的电机自适应方法,在仿真训练后零样本迁移至宇树 G1 机器人实现强力开门任务。
针对现有传输模型未标准化策略接口导致难以跨机器人复用的问题,本文提出在上游映射层引入身体对齐的虚拟关节空间。该方案使策略动作与观测遵循统一解剖学约定,并通过确定性运动学层将虚拟目标映射到原生坐标,保持底层控制栈不变。实验在三种不同腿部轴布局的人形机器人及宇树 G1 硬件上验证,证明该方法能准确跟踪、保持足部对齐且训练稳定,并将航向漂移降低近六倍。
推荐理由:提出身体对齐虚拟关节空间,在三种不同构型人形机器人上复用同一强化学习策略,显著降低航向漂移。
针对传统全身运动跟踪策略训练耗时长的痛点,本文提出 BlinkMimic 配方,结合从并行仿真学习的世界模型回传梯度、Muon 更新机制以及残差策略等技术。
推荐理由:作者提出 BlinkMimic 配方,在单卡 RTX 4090 上仅需 3.4 分钟即可训练出能复现 40 个动作片段的人形机器人全身运动跟踪策略。
Agile Robots 宣布完成 5 亿美元 Series F 轮融资,由 SoftBank Group 领投,NVIDIA、Hitachi Group 及 T.Capital 参与。
推荐理由:Agile Robots 完成 5 亿美元融资,估值达 85 亿美元,将用于扩大产能并加速全球扩张。
论文提出 SSR 框架,旨在解决人形机器人在非结构化地形上的安全高效移动难题。该方法通过自监督学习结合想象落脚点引导,预测摆动脚接触点并评估支撑稳定性以减少滑倒;同时利用等变潜在空间对称性增强实现高维视觉下的双侧协调,并结合特定地形的多判别器运动先验鼓励类人行为。实验表明 SSR 在楼梯、宽缝隙和高台等极端挑战下均能实现安全稳定的长时程穿越。
推荐理由:提出端到端框架 SSR,利用想象落脚点引导与对称性增强实现人形机器人在复杂地形的稳定行走。
该研究提出一种统一惯性编码器,通过运动学 IMU 合成在共享输入空间下联合训练人类与类人机器人数据,结合连续时间编码及传感器随机化。模型无需物理仿真、真实机器人训练轨迹或微调,即可零样本迁移至宇树 G1 实体机器人,在五个数据集上实现最低速度误差(G1 实机为 0.099m/s),并支持仅基于人类数据训练的类人机器人运动描述检索与泛化。
推荐理由:提出统一惯性编码器,实现从人类运动到宇树 G1 机器人的零样本迁移与速度估计。
波士顿动力 Atlas 团队工程师 Xiaoyu Wu 分享了将 Atlas 机器人改装为轮式的研究项目,通过替换脚踝执行器并调整模型,利用强化学习实现了侧滑漂移和空中转体等高难度动作。该项目旨在验证在硬件极限下全身体控制器与真实执行器的协同效果,成功缩小了仿真与现实差距,相关技术洞察已反馈至标准配置中。
推荐理由:作者分享了将 Atlas 机器人改装为轮式并成功通过强化学习实现高难度动作的测试床项目,验证了精准电机模型与全身体策略在硬件极限下的协同作用。
该论文提出了 DKWBC 框架,通过结合基于模型的逆动力学前馈学习与关节 PD 反馈来提供跟踪力矩,同时利用残差策略学习额外的关节力矩修正以维持平衡。实验表明,该方法在仿真和真实硬件上均能实现单一策略对多种运动数据集的泛化,并在地面支撑、附加负载及物理交互场景下保持准确的运动跟踪与平衡稳定性。
推荐理由:提出 DKWBC 框架,将运动跟踪与平衡解耦,在仿真和真机上验证了单一策略在多任务下的泛化能力。
论文提出了 ForPC 框架,旨在解决人形机器人在不修改工作场所的情况下操作现有手推车以搬运重物的难题。该框架通过两阶段强化学习调节车速,首先训练运动先验以提供平衡支持,随后基于车载观测推断力潜变量和状态潜变量(无需外部传感器),并协调手臂、腰部与腿部的调整及基座速度指令。
推荐理由:提出无需外部力传感器的全身控制框架,在仿真中训练即可将人形机器人推重达 30kg 的推车速度误差降低 68.2%。
该研究提出了首个行为世界模型(BWM)InterTrack,旨在解决通用运动追踪器仅适用于平地而跨地形控制器任务特定的问题。其 Transformer 架构联合预测动作、状态及行为分布,学习环境条件化的动力学;通过自动标注管道从重定向动作重建三维支撑几何以扩展交互训练数据。
推荐理由:报告提出首个行为世界模型 InterTrack,在复杂地形交互与跌倒恢复上显著优于基线,并提供了代码、数据及预印本链接。
论文提出 Spatiotemporal Training with Explicit Prediction (STEP) 框架,旨在解决感知型人形机器人运动中地形几何与身体状态演化的关联问题。
推荐理由:提出 STEP 框架,联合监督跨模态关系与动作依赖的状态演化,在仿真及硬件实验中提升地形穿越成功率。
该论文提出一种渐进式模仿框架,用于学习适用于人形机器人的极端跑酷技能并自适应其手 - 膝支撑模式。演示数据提供穿越行为,但接触模式需适配机器人比例和可用支撑面。
推荐理由:提出渐进式模仿框架,在 Noetix E1 上实现高成功率跨障碍与手膝支撑适应。
论文提出 HITCH(Harness Interfaces To Command Humanoids),一种让 VLM 控制人形机器人的接口,感知端返回图像中任意点的 3D 位置,执行端将髋部、躯干、手部、行走和注视指令转化为全身运动。
推荐理由:提出 HITCH 接口让 VLM 通过全身 harness 控制人形机器人,微调后在无特定轨迹下完成 51% 任务,加五条轨迹后 SIMPLE 成功率升至 95%,并在真机 G1 上实现无真实训练数据的搬运行走。
智元机器人将六台精灵 G2 投入上海徐汇便利店进行 24 小时全栈验证,累计完成 1730 项任务。其中“迎宾员”阿豪、“理货员”火宝等四台成功转正,“补货员”倦王和“保洁员”冷姐因主动性与边界控制不足暂未转正。
推荐理由:智元机器人通过便利店 24 小时实测验证 Physical RSI,披露四台转正、两台留级的具体表现及 Genie Master 调度机制,为行业提供真实场景下的系统稳定性与规模化落地参考。
该论文提出了 HALO 系统,利用程序化生成的千个虚拟家庭合成视觉 - 语言 - 动作数据以解决人形机器人训练的数据瓶颈。HALO 习得了坐椅子、导航至命名物体、侧身过门等技能,并能编排这些技能完成复合长周期任务。系统在从未见过真实家居的训练下实现零样本迁移,在六个未建图的真实环境中进行了 360 次试验,成功率为 91%。代码与视频已公开。
推荐理由:HALO 系统通过程序化生成合成数据实现零样本迁移,在六个未建图真实环境中达到 91% 成功率。
论文提出了 Ctrl-F 分层运动 - 力控制框架,旨在解决传统运动跟踪器仅知目标位置而不知如何与环境交互的问题。该框架包含统一运动 - 力控制器和高层在线力规划器,能在每个接触点(如手或脚)施加指定的三维力。
推荐理由:提出 Ctrl-F 框架,通过显式力指令增强运动跟踪,在硬件上实现大负载拖拽、推举及踢击等盲法基线无法完成的任务。