HEX:面向跨具身全身操作的人体对齐专家
HEX 是一个针对全尺寸双足人形机器人的状态中心化框架,旨在通过全身协同控制实现复杂操作。该模型引入人体对齐的通用状态表示以支持异构机身的可扩展学习,并采用混合专家统一本体感觉预测器来建模全身协调与时序运动动力学。
推荐理由:提出 HEX 框架,利用人体对齐状态表示与专家混合预测器解决全尺寸双足机器人全身协调操作难题。
技术方向
视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。
840 条精选近 30 天 569 条共收录 3,491 条
HEX 是一个针对全尺寸双足人形机器人的状态中心化框架,旨在通过全身协同控制实现复杂操作。该模型引入人体对齐的通用状态表示以支持异构机身的可扩展学习,并采用混合专家统一本体感觉预测器来建模全身协调与时序运动动力学。
推荐理由:提出 HEX 框架,利用人体对齐状态表示与专家混合预测器解决全尺寸双足机器人全身协调操作难题。
针对现有仿真 - 现实联合训练依赖静态演示且泛化受限的问题,本文提出一种基于强化学习的联合训练框架。该方法先利用真实与仿真混合数据进行监督微调预热策略,随后在仿真环境中通过强化学习优化并辅以真实数据辅助损失以锚定策略、防止灾难性遗忘。
推荐理由:提出基于强化学习的仿真 - 现实联合训练框架,在真实桌面操作任务上实现成功率提升与数据效率优化。
针对机器人基础模型评估成本高的问题,本文提出 Sensorimotor Alignment(S^2),一种无需训练的离线指标,用于衡量模型感官表征与物理运动几何结构的对齐程度。研究发现 S^2 与下游机器人任务成功率呈正相关,可作为低成本代理优先筛选模型或识别有潜力的视觉语言模型骨干网络。该工作将柏拉图表示假设扩展至具身智能领域,为理解模型成功原因提供表征层面的解释。
推荐理由:提出无需训练的离线指标 S^2,通过感知表征与物理运动几何的对齐程度预测机器人任务成功率。
论文介绍了OpenTac,这是一种新型传感器及其全栈生态系统,旨在支持高度定制化、可扩展且在下游机器人控制与学习中易于部署的触觉皮肤。核心贡献包括开发了一种具有结构化变形覆盖层的可扩展电阻式触觉皮肤,能将切向载荷转化为空间变化的压力;以及提供一款高度可定制的传感器设计工具,能从2D轮廓或抽象文本描述自动生成制造文件。
推荐理由:作者开源了可定制触觉传感器的硬件、CAD设计工具及仿真生态,并展示了在多种机器人上的部署与性能提升。
该论文提出一种结合数据驱动运动先验与强化学习的混合框架,旨在解决类人机器人在复杂地形中的全身协调控制难题。核心方法包括一个自监督的、基于注意力的接触规划器用于预测未来身体与环境交互,以及一个接触条件化的跟踪器将计划转化为协调动作。
推荐理由:提出利用运动数据作为训练先验的强化学习框架,通过自监督接触规划器与跟踪器实现人形机器人在复杂地形的稳健移动。
该论文提出稀疏拓扑度量图作为室内环境的高效结构表示,通过节点编码局部 3D 几何、边捕获可通行连通性,利用学习到的图匹配网络在跨会话中建立稳定对应。实验显示该方法在 Gibson 数据集上达到 77.1% 的成功率,在 3D-FRONT 场景变化下为 40.0%,内存占用比点级表示减少两个数量级以上,支持跨会话对齐与目标导向导航。
推荐理由:提出稀疏拓扑度量图方法,在跨会话室内导航任务中实现高成功率并大幅降低内存消耗。
论文介绍 FastHarness,一种经验驱动的机器人执行框架,用于自适应调度 GPT-6 Astra 对{π}0.5 策略的监督。该方法通过阶段记忆和已审查结果减少审查频率,并在发现错误时聚焦于纠错;验证恢复后继续常规执行并保留失败经验以指导未来干预。
推荐理由:FastHarness 提出经验驱动的审查调度机制,在不训练模型前提下将 GPT-6 Astra 监督的 Token 使用量平均降低 57.2%,并在四项仿真任务中将成功率从 80% 提升至 97.19%。
针对现有视觉语言动作模型过度依赖腕部视角、缺乏跨任务阶段全局与局部观察自适应协调的问题,论文提出 FocusVLA 框架。该方法通过历史动作预测未来交互意图并指导动态视图路由,在不修改核心架构的前提下适配现有 VLA 系统。
推荐理由:提出 FocusVLA 框架,利用未来意图引导动态视图路由,在 RoboTwin 2.0 及真实场景中显著提升 VLA 模型成功率。
arXiv 发布了一篇关于机器人集群控制的预印本论文,提出利用概率能量建模作为统一表示来协调多样化任务。该方法将基本群体行为编码为可复用的能量项,通过轻量级策略门控组合去中心化策略而无需重新训练。实验在无人机集群上验证了该框架在六个任务类别、10 至 100 个智能体以及两种硬件平台上的零样本泛化能力,仿真成功率达 96% 至 100%,且物理部署证实了对真实平台和无序环境的迁移效果。
推荐理由:该预印本提出概率能量建模统一框架,支持多任务零样本迁移与跨平台部署。
该论文针对外骨骼在复杂交互中难以可靠提供辅助的问题,提出一种结合多模态轨迹生成与可变导纳控制的双环策略。系统利用全身人类运动和外骨骼本体感知数据,通过去噪过程合成未来轨迹,并将任务描述作为语义线索。
推荐理由:该预印本提出结合全身运动与本体感知的双环辅助策略,通过轨迹方差量化不确定性以调节刚度,实验显示能降低肌肉激活与代谢能耗。
针对动态场景中非马尔可夫特性导致线索消失的问题,本文提出 WholeBodyMem 方法,利用 SAM3 追踪任务物体并因果选择关键帧构建感知记忆,供动作专家通过交叉注意力读取。该方法在仿真和真机(宇树 G1)上均显著优于无记忆及均匀采样基线,将基础策略成功率分别提升至 72.6% 和 88.3%,同时改善了标准 SIMPLE 任务表现。作者开源了包含六个仿真与六个真机任务的 HuMeGo 基准。
推荐理由:提出 WholeBodyMem 方法,利用预历史记忆将仿真与真机任务成功率分别提升至 72.6% 和 88.3%,并开源 HuMeGo 基准。
针对长思维链推理中模型偏离图像证据且强化学习仅提供最终奖励的问题,本文提出 RECAP 方法。该方法将视觉重访痕迹转化为信用分配信号,无需额外奖励或推理时改动,即可在 Qwen2.5-VL-7B、InternVL3-8B 和 LLaVA-OV-7B 等模型上提升图像 grounding 推理能力并保留文本性能。
推荐理由:提出 RECAP 方法,利用视觉重访信号优化 GRPO 训练,提升多模型在图像 grounding 上的推理准确率。
论文指出当前世界模型多用于预测下一帧像素,但这并非强化学习中想象回放的唯一目的;作者提出 DRILL 框架,利用下游回报信号更新世界模型。实验显示该方法在五个操作仿真器和两个 VLA 骨干上均能提升策略成功率,且能与 RLVR 预训练互补而非竞争。
推荐理由:提出 DRILL 框架,证明以策略效用为目标的世界模型训练优于单纯像素预测,在多个仿真器与 VLA 骨干上提升成功率。
针对视觉语言动作(VLA)模型在与其他机器人或人类协作方面的能力不足问题,本文提出 Co^2Gen 框架。该框架利用去中心化协同规划方法生成可执行的多机器人协作计划,进而产生协作演示数据用于微调 VLA 模型。实验表明,基于该方法生成的数据进行微调的模型,在执行去中心化协作任务时的表现与使用人类遥操作数据微调的模型相当。
推荐理由:提出无需遥操作的协同规划框架,生成数据微调 VLA 模型效果媲美人类演示。
论文提出了 GlobMP(Global Motion Planning)算法,这是一种基于梯度投影的连续时间规划方法,旨在同时满足避障约束和保持轨迹接近学习策略提出的初始路径。
推荐理由:提出 GlobMP 算法,在连续时间框架下解决多机器人避障与轨迹平滑优化问题。
该论文通过预注册实验对比了将具身智能体的经验嵌入策略权重与作为外部检索缓冲器的效果。结果显示,将冻结的检索缓冲器附加到固定学生权重上比仅行动控制提升 34 个百分点,显著优于将记忆蒸馏进权重的方案(后者因统计功效不足被撤回)。研究结论建议采用外部化记忆架构,即保留独立缓冲器而非将其参数化入模型权重。
推荐理由:预注册研究表明将记忆外置并作为检索缓冲器使用时,比嵌入权重更能提升具身智能体在视觉条件化任务上的表现。
Hugging Face Daily Papers 转述了一篇 arXiv 论文,介绍 RynnUnify 这一 16B 参数规模的统一具身模型。该模型结合视频语言推理实现长视界视觉规划与物理预测,并通过强化学习扩展智能体能力以推断未观测状态,同时开发世界 - 动作扩展将理解转化为机器人控制。
推荐理由:该预印本介绍了 RynnUnify 统一具身模型,展示了其在视觉规划、物理预测及机器人控制上的实验结果与基准。
BiMoGen 是一个统一的掩码离散扩散框架,用于双向运动文本建模。该方法采用解耦的单模态与跨模态两阶段训练策略,并引入生成感知自修正机制以缓解训练测试不匹配问题。实验在 HumanML3D 和 KIT-ML 数据集上验证了其在文本生成动作描述及动作描述文本任务上的竞争力。
推荐理由:该文提出基于掩码离散扩散的双向运动文本生成框架,通过解耦训练与生成感知自修正机制解决时序一致性问题。
论文提出 BAS-VLA 框架,旨在解决视觉语言动作(VLA)模型难以区分应保留行为的外观变化与需调整行为的语义变化的问题。该框架在冻结基座模型上构建以‘破坏性’为中心的校准核心,并辅以选择性证据门控机制来修正外观诱导的漂移。实验显示,BAS-VLA 将任务切换成功率从 2.3% 提升至 68.5%,同时在保持风格不变的外观偏移下将成功率从 42% 提升至 70%,且未降低原始性能。
推荐理由:提出 BAS-VLA 框架解决 VLA 模型在外观变化与语义变化下的策略漂移问题,显著提升任务切换成功率。
本文介绍 ASPIRE(Agentic Skill Programming through Iterative Robot Exploration),一种在代码即策略范式下自主编写和精炼机器人控制程序的持续学习系统。
推荐理由:提出 ASPIRE 系统,通过闭环执行引擎与技能库实现机器人控制程序的自主编写与迭代优化。