COWBOY:一种可扩展的仿真到现实框架,用于学习上下文驱动的全身操作
针对移动操作器需适应物体及空间环境的挑战,本文提出 COWBOY 框架,利用向量化环境感知全身控制器处理千种场景下的到达与避障,再训练局部 RL 专家进行物体交互,最终蒸馏为单一视觉策略以控制移动基座、机械臂、灵巧手和主动相机。该策略能从点云观测自动适应场景几何并执行操作。材料为预印本论文,未报告真实机器人部署结果或具体性能指标。
针对移动操作器需适应物体及空间环境的挑战,本文提出 COWBOY 框架,利用向量化环境感知全身控制器处理千种场景下的到达与避障,再训练局部 RL 专家进行物体交互,最终蒸馏为单一视觉策略以控制移动基座、机械臂、灵巧手和主动相机。该策略能从点云观测自动适应场景几何并执行操作。材料为预印本论文,未报告真实机器人部署结果或具体性能指标。
该论文提出在偏好条件强化学习中评估奖励、优势、损失及 PCGrad 等不同层级的目标聚合策略。实验结合响应度与效用指标,对比两种人形控制框架发现:早期聚合能产生更广泛的行为响应但伴随其他目标的非预期变化,而晚期聚合虽提升控制精度却牺牲了部分响应性。材料为预印本版本,未报告真实机器人部署结果或具体性能数字。
针对视障人士使用导盲犬或手杖在陌生区域导航时的不确定性问题,该研究提出了 Context-Aware Navigation Explanation 框架,利用大语言模型将感知上下文与规划的未来轨迹整合,生成自然语言的机器人移动解释。
论文提出 Flexible Feature Editing Pipeline (FLEX),利用大模型根据自然语言反馈对机器人内部表征进行添加、泛化和掩蔽三种迭代修正,以解决仅靠轨迹演示无法解释任务特征的问题。
该论文提出 T-WLA 架构,旨在解决富接触操作场景中视觉策略更新滞后而触觉反馈无法直接指导修正的问题。系统利用共享视觉记忆同时引导基础动作生成和轻量级触觉编辑器进行残差修正,无需重跑视觉分支即可预测未执行动作的修正量。
推荐理由:该工作提出 T-WLA 架构,利用共享视觉记忆引导动作生成与触觉修正,在真实机器人任务中实现约 50% 成功率并降低 30% 关节误差。
该研究提出一种无需力/力矩传感器的物理人机交互(pHRI)控制框架,通过神经网络补偿摩擦与未建模动力学以提升观测器性能。实验表明该方法在保持末端位姿与力跟踪精度的同时实现了鲁棒的广义力估计。此方案适用于多种缺乏专用传感器的人机协作机器人平台。
研究提出耦合视觉 - 运动重映射方案,将全景方位角畸变与其逆上肢偏航变换配对。原型实现全局缩放(GZ)与焦点 + 上下文(F+C)两种模式。在包含 8 名受试者共 72 次试验的测试中,GZ 完成次数最多(23/24),但仅 6/8 参与者偏好该模式,显示完成率与用户偏好存在差异。
美国具身智能初创企业 Eka Robotics 近日宣布完成 1.5 亿美元的 A 轮融资,投后估值约 14.5 亿美元。本轮由 a16z 和 F-Prime 联合领投,三星等机构跟投。公司专注于研发重视力反馈的 VFA(Vision-Force-Action)机器人基础模型及自研灵巧夹爪,采用物理仿真与强化学习相结合的技术路线。目前正与多家工业客户开展试点合作。
宇树科技于 10 月 21 日发布新款人形机器人"H2-X 功夫传奇 守护”,最长续航可达约 8 小时。视频展示其能徒手抬起汽车、从 4 米高空平稳落地及踢凹车门等高强度动作。该机器人或面向应急救援、安保防护等领域,打破高动态人形机器人耗电高的固有认知。
针对富接触操作场景,视觉信息难以区分不同接触结果且反应式控制响应滞后,本文提出 ForeTac 预测性接触引导框架。该框架通过代表 - 预测 - 评估 - 引导循环,编码当前触觉状态并基于候选动作序列预测未来触觉潜变量轨迹,利用从成功与失败物理交互中学到的接触质量目标进行评估。
该论文提出一种基于 Transformer 的自编码器架构,旨在解决跨不同骨骼拓扑结构的运动重定向难题。核心贡献是引入可学习的骨架图扁平化方法,将基于图的位移编码以乘法形式整合进模型,从而在无需成对数据的情况下实现完全无监督训练。实验表明,该方法在零样本评估中将全局关节位置误差降低了 43-47%,并在包含专家动画师的用户研究中,在动作对齐和物理合理性方面获得最高排名。
本文介绍了一种端到端管道,用于捕获手术室中的运动并训练手术机器人策略,已在活体动物上验证。作者引入了一种安装在标准腹腔镜器械轴上的器械状态记录器,利用惯性传感器、飞行时间传感器和霍尔传感器恢复其姿态和钳口状态,无需外部相机或追踪器。
该研究针对传统四足机器人难以利用机械共振的问题,提出了一种框架,使非线性动力学在设计过程中可预测。作者展示了高顺应性四足机器人 eBert,利用新理论工具识别出六种非线性正常模式(NNMs),并在仿真和硬件上验证了其存在。
该论文提出 WorldScape Policy 2.0,一种具备推理增强长期短期记忆的受控世界动作模型(WAM)。其因果短期视觉记忆提供局部交互动态,长短期事件记忆组织历史 VLM 输出以支持进度感知检索。
针对端到端策略在高精度接触任务中脆弱且泛化差的难题,本文提出一种模块化方法,利用机器人自主在真实环境中采集接触密集段的数据,并通过离线强化学习转化为高效策略。该方法将局部策略与传统运动规划结合以解决长视界装配任务,在四个真实世界任务中仅需 2-2.5 小时自主数据采集即可实现 96% 的平均成功率(对比纯规划基线为 55%,最强端到端基线为 37%),并将施力降低 49%。
论文提出 PAKE 框架,将全身操控分解为部分参考运动生成与底层模仿控制。引入基于大规模数据集训练的运动学归一化流模型以生成多样化参考,高层控制器在潜在空间导航以利用冗余解,底层控制器执行动态一致运动。系统在四足机器人加六自由度机械臂上验证,仿真基准测试优于基线,硬件部署在 24 次任务中实现末端位姿跟踪误差 4.5 cm 与 0.14 rad,同时保持移动跟踪精度。
针对机器人策略难以在不同机械结构间泛化的问题,研究提出了 KITE 框架,将操作任务解耦为本体无关的交互意图预测和本体特定的运动学解码。该方法仅利用源机器人的演示数据训练交互策略,并通过学习基于接触模式的交互意图表示,结合各目标本体的合成运动学数据生成指令,从而实现无需额外任务演示即可迁移到新结构机器人上的零样本技能转移。
论文提出了 ZeroDex 框架,该框架通过校准的多视角 RGB 图像将语言指令转化为可执行的 3D 任务计划,实现了无需演示的零样本长程灵巧操作。系统利用 VLM 的 grounding 能力扩展至物理量(如接触点、放置目标),并将复杂指令分解为原子任务执行;在真实世界实验中,其 3D 定位精度和任务成功率优于仅基于单视角的视觉提示及约束基线,且无需针对特定任务或本体进行微调。
针对深度强化学习在直接关节力矩控制中解耦不自然的问题,该方法利用专家演示数据构建隐式动作先验以辅助策略探索。结合风格奖励机制后,智能体能更精准复现专家行为,且在迁移任务中的性能显著优于仅依赖奖励水平的基线。相关视频与预印本代码已公开,适用于双足机器人运动学习研究。
针对现有强化学习与运动追踪方法在泛化性与自然性上的权衡问题,论文提出 AdaDex 框架。该框架核心为 Hybrid Dexterous Mimicking,通过在密集运动追踪环境与稀疏奖励泛化环境并行训练共享策略,将数秒的人类动作转化为具备功能抓取、物体重定向及投掷等能力的灵巧技能。实验表明该方法在仿真与真实世界中均优于基线,并实现了跨模拟器迁移。
推荐理由:提出 AdaDex 框架,利用混合模仿策略将少量人类动作转化为可泛化的灵巧技能,并在仿真与真实世界验证了跨平台迁移能力。
论文提出 REACT 框架,旨在从人机演示中学习可部署的人形机器人交互策略。该方法利用视觉语言模型(VLM)进行语义接触建模与重定向,将人类伙伴的遮挡状态转化为生成式预测目标以弥补感知缺失。研究在仿真及宇树 G1 真机平台上验证了该框架在五种高接触密度交互任务中的有效性,证明其能仅凭机载传感器完成操作。
推荐理由:提出 REACT 框架,利用 VLM 进行接触重定向与生成式伙伴建模,解决人形机器人与人类交互中的严重遮挡问题。
Touch-JEPA 是一种从手物交互视频中学习触觉表征的框架,旨在解决触觉测量成本高、覆盖受限的问题。该方法首先引入自监督预训练目标,仅利用视频数据预测手部表面位置的掩码视觉特征以捕捉潜在接触动力学;随后扩展为联合表征学习,在全部视频上进行掩码预测的同时,仅在标注子集上使用触觉数据进行监督,将共享表征锚定在实际测量的接触与强度上。
该论文提出 GPT-as-Tactile-Policy 方法,利用 GPT-6-Astra 结合多模态观测与交互历史生成控制指令以调整操作。在无需额外机器人专用预训练或任务微调的情况下,该方法在五项 UniVTAC 接触丰富操作中实现 93.8% 平均成功率,其中插入孔洞任务成功率从 31% 提升至 99%。
论文针对世界动作模型在长程操作中易出现‘阶段混淆’的问题,提出了 TaskWAM 框架。该框架利用 Mode Tokens 表征细粒度任务需求,结合 State Tokens 追踪执行进度,形成结构化任务状态以引导生成预期的未来轨迹。研究构建了 StageBench 基准并在仿真与真实世界中验证了该方法能有效减少混淆且具备跨异构机器人架构的即插即用能力。
推荐理由:提出 TaskWAM 框架解决长程操作中的阶段混淆问题,并通过 StageBench 基准验证了其在异构机器人架构上的通用性。
针对可移动障碍物导航难题,SPAR 利用仿真搜索结果训练排序器以区分直接开启与预备推动动作。在 300 个两推关键孔问题中,其将仿真调用减少 7.0 倍、规划时间降低 3.8 倍;深度达五推时成功率提升至 50.7%。真实机器人实验显示,SPAR Policy 在无物理数字孪生条件下成功率为 92.5%,显著优于随机搜索的 67.5%。
论文提出强化迭代学习控制(RILC)框架,旨在解决顺从机器人轨迹跟踪中非线性动力学与建模不确定性的挑战。该方法通过耦合传统迭代学习控制器与强化学习策略,在保留被动顺从性的同时实现快速适应和理论收敛保证。
推荐理由:提出强化迭代学习控制框架,结合传统方法与强化学习优势,在仿真与欠驱动弹性关节机器人实验中验证了跨轨迹泛化能力。
该研究对 GPT-6 Astra 模型进行系统评估,发现其在 RoboDojo 和 RoboTwin 2.0 等基准上表现尚可,但在几何约束任务、精确动作规划及物理安全方面存在明显短板。作者提出了新基准 LIBERO-GeoMotion 以考察空间理解向可行运动的转化难度,并通过真实实验证实了模型在运动可行性与控制精度上的不足。
针对现有文本生成动作方法多为单次生成、用户不满时需从头重生的问题,本文提出一种支持迭代反馈与局部编辑的对话式动作生成范式。研究团队设计了语义引导掩码动作编辑机制,将自然语言指令精准映射到时空运动区域以实现局部细化;同时引入基于记忆的自我进化策略,从交互历史中积累知识并复用成功经验以减少冗余探索。实验表明该框架能有效支持多轮对话生成与高效动作精炼。
论文提出 FIT-MAC 框架,旨在解决视觉语言动作(VLA)模型在任务条件偏离标准设置时可靠性下降的问题。该框架通过引入推理时间控制层,利用规划、接地、验证和修正四个智能体协同工作:解析指令并绑定视觉目标,区分执行失败类型,并在必要时路由至重绑定或受控抓取等干预策略;若无故障则默认使用预训练 VLA 模型。
LocoPilot 是一个在 Unitree Go2 四足机器人搭载 AgileX Piper L 机械臂上实现的单操作员双边遥操作与数据收集框架。该系统利用第二只机械臂作为领导者及两个手持控制器,同时控制基座、身体姿态、机械臂和夹爪;通过被动约束的触觉通道向操作员渲染估计的作用力,无需专用力/扭矩传感器。
论文提出了 HuTact 框架,旨在解决灵巧操作中机器人端数据采集成本高的问题。该方法通过预训练将人类手物交互中的动作结构迁移至机器人触觉观测,无需真实触觉信号即可初始化模型。
推荐理由:该预印本提出利用大规模人类手物交互数据作为先验,显著提升了机器人触觉感知与操作任务的数据效率。
针对当前观测不足以确定下一步动作的历史依赖型机器人操作难题,本文提出 EventSync 层级框架。该框架利用视觉语言模型生成子目标,由视觉语言动作模型执行,并引入轻量级事件监测器结合视觉观测与末端轨迹判断子目标完成状态,仅在获得完成证据后记录至历史并触发后续推理。
推荐理由:提出基于事件驱动的层级框架,通过轻量级监测器解决任务记忆更新时机问题,在 RoboMME 基准上显著超越现有基线。
该论文通过 PointHand 遥操作界面研究了渲染方式(真实形状、全关键点强调或仅拇指食指强调)如何影响新手演示及后续策略训练。在模拟任务中,展示拇指和食指的新手收集到的成功演示更多且质量更高;基于这些演示训练的扩散策略在共享表征下成功率显著提升。材料为预印本,未报告真实机器人部署结果。
针对通用机械臂在眼科手术软件远程中心点(RCM)任务中出现的约束诱导奇异问题,研究提出一种内置奇异恢复的高精度伺服架构。该架构通过权限引导规划器选择良态构型并规划 RCM 一致路径,由分层二次规划控制器执行。
论文提出 Gaze2HOI 框架,将手物交互预测分解为意图推理、接触定位和耦合运动生成三个层级。该方法利用注视强度和时间权重调制视觉语言模型以消除语义歧义,并通过前瞻性接触定位模块明确接触与支持几何信息,进而驱动扩散模型生成六自由度物体轨迹及手部关节运动。
该预印本论文提出了一个姿态感知导航框架,核心包含自适应穿越管(ATT)、区间速度 - 航向控制及侧步增强的 AMP 运动先验。该方法通过连续信号统一几何通行与社会避让需求,将宽度映射为前向至侧移的姿态调度与全向速度指令,并设计了基于 GVHMR 重定向的运动策略以提升过渡稳定性。材料仅展示 MuJoCo 仿真演示与 Unitree G1 的部署计划,定量结果待后续发布。
针对现有世界 - 动作模型计算成本高或压缩过度丢失细节的问题,提出 PLaCA 框架,直接从多模态输入预测空间结构化的局部未来潜变量变化,并将其显式融入动作生成。
该研究提出用佩戴在采集者头上的单目自眼相机($122)替代手腕相机、姿态追踪器及多路数据流,配合贴有标签的无电子手套($22)和纸砖标记。实验显示该方法对机器人编码器标定的中位误差为 6.5mm 和 1.6 度,帧覆盖率 93%-100%;基于此训练的策略验证损失仅比编码器策略高 3%。
推荐理由:单目头显相机替代手腕设备,配合无电子手套实现低成本高精度抓取,演示了从遥操作到自主执行的迁移效果。
JARVIS 是一个无需额外语言指令的自主视觉手册引导执行基准,包含 236,679 个 LEGO 装配任务及 50 个交互式评估子集。该工作引入结构感知评估协议以捕捉几何精度与构建顺序,并提出 JARVIS-agentic 智能体利用工具进行程序合成与反馈恢复。实验显示任务导向原语能提升平均得分,但长视界执行性能显著下降且纠错困难,揭示了视觉过程推理与可靠物理执行之间的持续局限。
Tactile-ETA 系统在不更新模型参数下,利用触觉经验让智能体在四个仿真任务中将平均成功率从 15.75% 提升至 24.00%,并在真实机器人上使对齐视觉与触觉的演示将成功率从 0% 提至 60%。该研究证明无需特定任务训练即可通过触觉上下文学习实现精细操作,且性能高度依赖演示内容的感官表征。