Pixel:面向通用移动操作的全栈机器人系统设计
Pixel 是一个协同设计的完整系统,旨在通过低成本轮式人形机器人、合规夹爪及统一全身控制器学习通用移动操作。该系统整合了遥操作与免机器人数据采集接口,支持语言条件视觉运动控制及长视界任务执行。研究在硬件、数据收集与策略学习上进行了评估,展示了需灵巧性、主动感知、导航及全身协调的移动操作行为。
Pixel 是一个协同设计的完整系统,旨在通过低成本轮式人形机器人、合规夹爪及统一全身控制器学习通用移动操作。该系统整合了遥操作与免机器人数据采集接口,支持语言条件视觉运动控制及长视界任务执行。研究在硬件、数据收集与策略学习上进行了评估,展示了需灵巧性、主动感知、导航及全身协调的移动操作行为。
论文提出 Pixel-UMI 框架,利用传感器化的人类演示数据学习环境感知的全身操作策略。该方法引入环境感知重定向(EAR)结合场景几何与人体轨迹生成避障关节目标,采用延迟校准动作分配解决运动学差异,并通过误差感知掩码(REAM)减少部署时的视角失配,最后利用 DAgger 收集在线人类修正以增强接触丰富交互的性能。
论文提出 D&A(Describe & Assess)方法,旨在解决现有框架中视觉语言模型(VLM)在机器人任务进度估计时的确认偏差问题。该方法将评估分为两个阶段:首先生成基于场景动态的客观文本描述以定义绝对成功标准,随后依据明确评分准则进行评估。
该论文提出了 TAMPAgent 框架,旨在解决开放世界中机器人移动操作面临的几何不确定性问题。研究将大视觉语言模型(LVLM)的推理能力与任务运动规划(TAMP)系统的结构化约束求解相结合,构建了一个基于可扩展 API 的信念空间规划模型。
本文研究了利用中间机器人助手引导大型群体的技术,针对野生动物群等“不可治理”的群体场景,对比了低层级遥操作与基于集体形状(如边界控制)的高自主性运动原语接口。实验结果表明,后者在虚拟现实牧羊任务中提升了表现并降低了感知工作负载。该论文已接受发表于 IROS 2026,属于预印本状态。
论文研究了机械臂与操作对象之间的惯性失配对机器人策略学习的影响。研究发现强化学习能在广泛的质量组合下成功,而行为克隆在轻机器人操作重物体时更可靠;增加数据能缩小但无法消除这一差距。此外,即使机械臂重量不变,电机齿轮比导致的等效惯性增加也会降低行为克隆性能。研究提出通过选择低惯性工作空间或引导演示者采用低惯性解决方案来改善模仿效果。
论文提出 SNAP 方法,利用单一语义标注鸟瞰图同时推理语义地形与动态障碍物,避免依赖显式的人体状态估计。该方法在拥挤城市环境中优于现有的人群避让和语义感知基线,并成功实现零样本迁移至足式机器人,展示了在高动态真实场景中的社会合规导航能力。
推荐理由:提出基于语义鸟瞰图的强化学习导航策略,无需显式人体状态估计即可在拥挤场景实现社会合规导航,并验证了跨足式机器人的零样本迁移能力。
针对过驱动多旋翼在采样指令和变时延下鲁棒性边界不足的问题,提出一种无需计算 Lipschitz 常数的测试方法。该方法利用转子对扭矩的单调响应结构,将可达速度域限制在廉价计算的盒内,并在预知角落寻找最低就绪值,从而保证命令执行期间就绪度不低于阈值并提供备用扭矩维持认证轨迹。
本文介绍了 ToFTouch,一种结合三组多分区飞行时间(ToF)传感器与光学压力传感阵列的多模态触觉传感器。该传感器被安装在平行夹爪上,用于在接触前获取物体信息。
Copilot Assistance Modes(CAM)框架通过体外实验对比了从手动到全自主的六种机器人导航模式。结果显示,全自主仿真成功率为 81%,但体外降至 23%;而人机共享自主模式成功率达 92%-97%,约为全自主的四倍且接近直接控制水平。研究证实,通过人机协作分配控制权可有效缓解仿真到现实的域偏移问题。
针对月球表面自主移动需求,研究构建弱监督框架,评估在域内及跨域设置下引入深度、法线等几何信息对视觉特征的增强效果。实验基于两个地球模拟数据集与嫦娥 PCAM 真实数据,发现单纯几何融合未带来一致提升,训练源选择才是决定迁移质量的主导因素。该评估在资源受限边缘设备上运行,为未来月球感知系统的多模态融合架构设计提供了受控基线。
该综述提出针对上肢外骨骼的连续肌电控制“解码器 - 整形器 - 控制器”功能框架,明确区分意图估计、辅助策略设计与底层执行。分析指出当前整形模块缺乏成熟调优方法且常被嵌入其他组件,报告存在不一致及跨自由度验证不足等关键问题。文章据此提供模块化系统调优设计指南并指明未来研究优先方向以弥合实验室与真实工况差距。
OpenZilo 是一个集成麦克风、惯性测量单元及皮肤温度传感的开源智能戒指平台,旨在连接用户输入与机器人物理动作。该平台定义了七种运行模式,在包含五种指令和每种模态 250 次试次的实验中,语音与手势的任务成功率分别达到 90.4% 和 88.8%,整体任务成功率为 70.0%(手势)或 64.0%(语音)。
Safe-Ballbot 提出了一种三层球型机器人(ballbot)导航架构,上层利用 jerk 模型预测控制器配合离散时间控制屏障函数处理静态及动态障碍物,下层采用扩展状态观测器的分层滑模控制器。MuJoCo 仿真显示该方案规划耗时仅 9--12ms,比全模型非线性 MPC 快 10--15 倍,同时保持至少 10cm 安全间隙、轨迹跟踪误差小于 2cm RMS 且倾斜角始终低于限制。
论文提出 ForceLDM 模型,旨在解决视觉策略在接触丰富操作任务中难以推断接触状态与交互力的问题。该方法通过知识蒸馏,利用拥有未来力和光流信号的教师网络提取动态特征,并将其迁移至仅依赖当前观测的学生网络,使部署时无需未来感官输入即可推理后续接触与物理动力学。此外,引入课程渐进噪声注入策略以提升鲁棒性。实验在五个真实世界任务上验证了其在性能、泛化性及抗扰动方面的优势。
推荐理由:提出 ForceLDM,通过知识蒸馏将含未来力信号的教师网络特征迁移至仅用当前观测的学生网络,解决接触丰富任务中的动力学建模难题。
论文提出一种基于仿真的协同设计框架,联合优化材料分布、气动执行器位置与朝向及控制策略,生成可直接通过熔融沉积建模单体 3D 打印的软体机器人设计。该方法采用可微分二维平面应力质点法模拟器,结合实验验证的材料模型和充气执行器的经验代理模型,实现了从任务级目标到物理可实现软体机器人的路径。研究展示了基于梯度的优化生成的软体机械臂能复现仿真预测的行为,且无需后组装即可直接转移至单次单体打印制造。
推荐理由:该工作提出基于仿真的协同设计框架,联合优化材料分布与气动执行器布局,实现单体 3D 打印软体机械臂并复现仿真行为。
该论文提出 MoSoLoco,一种单帧单目 3D 人体定位器,通过复用姿态检测器的内部视觉特征与检测到的 2D 骨架进行定位,无需额外 RGB 或深度编码器。该方法还引入稀疏同帧多人体情境以修正个体位置估计。
本文发布了 ArmnetBench v0.1 数据集,收录了 3718 个在低成本 SO-101 机械臂上完成的真实机器人操作片段。数据涵盖 600 次遥操作演示和 3118 次策略 rollout,涉及 7 种模仿学习与视觉语言动作模型在 12 个桌面任务上的表现。
KlaskTron 是一个基于动态桌面游戏 KLASK 的低成本(<2500 美元)桌面级机器人测试床,旨在解决物理多智能体强化学习基准稀缺的问题。该平台配备双 CoreXY 龙门架和高扭矩无刷电机,支持高速精确操作。项目完整开源了硬件 CAD/BOM、NVIDIA Isaac Lab 数字孪生仿真环境以及经过验证的零样本策略迁移基线(使用学习到的神经执行器模型),所有资产均公开以确保证据可复现。
推荐理由:开源低成本桌面级对抗多智能体强化学习平台,含硬件设计、数字孪生及零样本策略迁移基线。
本文介绍 VLALagBench 基准,用于研究视觉语言动作(VLA)模型的推理延迟敏感性。研究发现即使仅 100 ms 的延迟也能使移动目标任务成功率减半,且异步执行虽能部分恢复成功率但会增加请求频率。作者构建了经验模型,利用有限校准数据预测任务成功率,均方根误差仅为 5.7-7.8%,旨在指导算法与系统的协同设计。
作者构建了 KlaskTron-IL 基准,包含 80k 物理机器人采集的人类演示、320k 对称增强数据及由零样本验证策略生成的合成轨迹。该基准揭示了标准模仿学习方法在富接触对抗动力学下的三种典型失效模式:行为克隆的数据扩展瓶颈、GAIL 判别器梯度弱以及行为克隆先验与奖励密度的非对称交互。由于策略接口与硬件执行器模型一致,在此范围内训练的强基线策略可直接迁移至物理机器人运行。
推荐理由:作者构建了含接触对抗的模仿学习基准,提供零样本仿真到现实迁移策略与诊断基线,揭示标准方法在复杂动力学下的失效模式。
针对接触式机器人操作受末端执行器可达性和物体机械性质限制的问题,本文提出了一种基于气流的非接触式操作强化学习框架。作者开发了适用于 Isaac Lab 的通用气流扩展模块,利用实验识别的气流模型计算对物体的力和力矩,支持大规模并行训练。
推荐理由:作者提出基于气流的非接触式操作强化学习框架,在 Isaac Lab 中实现并行训练,并在真实世界零样本部署中验证了混合推吹策略与矩形重定向策略的有效性。
论文提出 ReContact 方法,通过物体中心接触规划解决人形机器人在遮挡场景下的位姿重建与力对齐问题。该方法在仿真中于股骨支撑的重抓任务上达到 83.5% 的成功率,并将工作空间内的管状物体转移成功率从 20.4% 提升至 97.8%。实物实验在宇树 G1 机器人上执行了七项富接触操作和两项移动操作任务。材料为 arXiv 预印本版本,尚未通过同行评审。
针对障碍物几何未观测场景,研究者在模拟 Franka Emika Panda 抓取任务中引入水平人工势场奖励项。该方法在半径 0.03m 至 0.055m 范围内将安全成功率维持在 88% 以上,最小间隙达 47.9mm,且消除训练碰撞时间提前至少八倍。该优势在三强化学习求解器及全观测条件下均显著成立,路径长度仅增加约 19%。
针对自主服务机器人在人类环境中社会导航进展受限的问题,该工作提出了 RESONATE 基准,基于统一机器人平台和共享 ROS 2 软件栈,提供精确轨迹真值和结构化社交交互场景。
推荐理由:该工作提供了基于统一平台的社会导航基准,包含可复用的基线、数据及评测协议,支持社区开展人类感知导航研究。
针对机器人泛化难题,本文提出了 PointPilot 框架,该框架基于 3D 空间点流预测构建任务导向的操作策略。不同于全局场景建模,它仅表示与任务相关的物体(含机械手),在统一坐标系下支持闭环全自动执行,无需单独训练动作头或依赖特定单臂模式。模型端到端联合学习子任务规划、物体定位及 3D 点流预测,能吸收异构数据演示并实现零样本本体泛化,即单个策略可部署于未见过的机器人上完成任务且无需微调。
针对 VLA 策略在短周期高精度操作阶段失效的问题,本文提出 REPAIR 框架,通过离线初始化与在线优化结合的方式,将轻量级 RL 专家的能力蒸馏至单一流匹配 VLA。该方法利用 RL 专家的监督分布训练 VLA,最终移除专家控制器实现独立部署。实验显示,REPAIR 在六项真实机器人任务中均达到 100% 成功率,且末端执行器抖动低于专家辅助执行水平。
Juergen Graf 发布了一篇关于广义奇异值分解(GSVD)在机器人学中应用的预印本论文,系统推导了线性代数与统计估计所需的完整理论框架。该研究将 GSVD 应用于多模态和集体估计问题,分析了信息归因、子空间几何及决策判别等核心要素,并提供了经过数值验证的参考实现代码。
该研究针对长周期机器人装配任务,提出了结合视觉与触觉信息的扩散策略模型。模型利用四步历史数据整合双摄像头视图与指尖触觉图像,并通过辅助目标预测未来两步的触觉变化以捕捉接触状态演变,该目标仅在训练阶段使用。在 MuJoCo 平台进行的三次独立实验显示,全模型平均成功率为 59.0%,较仅视觉基线提升 16.3 个百分点。
针对现有视觉 - 语言 - 动作(VLA)模型依赖马尔可夫假设导致长程任务失败的问题,本文提出 HeLM 框架,通过分层事件检测与触发式记忆更新维护任务相关历史。
推荐理由:提出分层显式语言记忆框架,在非马尔可夫任务中显著降低显存并提升成功率。
DexArena 是一个旨在评估长周期双手灵巧操作学习与泛化能力的基准。它包含 10 个长周期任务和 30 个阶段级任务,覆盖家庭与工业场景。每个长周期任务由明确定义的物理基础成功条件组成,支持中间进度和端到端完成度的可靠评估。
该论文提出一种基于数据学习的神经积分控制屏障函数方法,利用神经 ODE 学习动力学、模仿学习获取名义控制器、监督回归构建屏障函数,从而在无需几何标签的情况下确保状态安全。
推荐理由:提出用神经 ODE 学习动力学、模仿学习控制器与回归屏障函数,构建无需几何标签的积分控制屏障函数,在敏捷避障任务中消除不安全样本并优于基线。
针对混合专家(MoE)策略在政策梯度更新中因动态路由导致旧版与新版策略发散误估的问题,本文提出 MAPO 方法,通过交替优化路由器与专家网络来避免该误估。实验显示,MAPO 能持续跟踪 PPO with MoE 失败的 182 个运动样本,而后者仅能跟踪 MAPO 失败的 1 个样本。该方法在对比方法中取得了最高的跟踪成功率及最低的跟踪误差。
推荐理由:提出 MAPO 方法解决 MoE 策略梯度更新中的发散误估问题,在通用类人运动跟踪任务上显著优于 PPO with MoE。
针对现有世界动作模型(WAMs)因需显式想象未来状态而导致计算开销大、难以满足实时控制的痛点,本文提出 W2A 框架。该方法在训练阶段将视频扩散模型的中间去噪表示蒸馏至动作模型,测试时完全丢弃视频模型,假设压缩的低维子空间足以提供有效监督。实验表明,W2A 在 LIBERO 基准上平均成功率达 95.9%,推理速度比代表性 WAM 基线快约 21 倍,兼顾了高成功率与高效率。
推荐理由:提出将视频扩散模型的中间去噪表示蒸馏至动作模型,测试时完全丢弃视频模型,在保持高成功率的同时显著降低推理延迟。
针对传统 SLIP 模型无法描述躯干运动的问题,该研究提出一种中心支点(CPP)控制律,通过髋关节力矩引导地面反作用力穿过质心,将三维问题解耦为平面中心力问题。
推荐理由:该研究提出中心支点控制律,使带躯干的双足奔跑模型可解析求解并实现稳定周期步态。
佐治亚大学与佐治亚理工学院团队提出一种控制器更新方法,通过约束新技能入口规则而非参数来修正失败状态。该方法在两个类人机器人系统的四条数据流上运行,两次更新共增加 62 次恢复能力且未损失任何基础成功。移除约束虽能多恢复 33 种情况但会导致 8 个受保护任务无法完成,证明了该机制的有效性。
针对分层控制在接触、平衡或扰动快速变化时固定规划器接口失效的问题,本文提出 EPO 方法,通过为每个低层策略学习复合能量模型来实时选择最优的策略 - 目标对。该方法允许在不重新训练现有策略的情况下融入新策略,并在仿真中改善了精度与鲁棒性的权衡,同时展示了在真机人形行走操作任务上部署冻结策略与能量模型的可行性。
推荐理由:提出基于能量的策略编排方法,在仿真与真机人形操作任务中提升模块化策略的可行性与鲁棒性。
这篇 72 页的综述指出,尽管预训练数据量巨大,现有机器人策略在日常操作任务中仍频繁失败,而人类儿童仅需数年即可掌握同类能力。
推荐理由:该综述提出从生物神经系统借鉴的设计原则,为下一代机器人模型架构提供了具体的理论假设与实现路径。
论文介绍 RoboColosseum 分布式评估框架,结合统一策略服务与标准化协议,在网络中本地部署的多样化机器人上评估物理智能。初始研究对比了五种视觉语言动作模型和三种前沿 AI 代理在四种具身形态上的表现。
该论文研究了多自由度软体机械臂的协同游动问题,提出在共享节律驱动下独立学习各臂激励幅度的控制策略。通过近端策略优化(PPO)对比了无相位耦合、预设相位耦合及端到端三种方法,在无相位耦合策略中,200 个随机三维速度指令任务中有 169 个满足跟踪标准,显著优于其他两种策略。研究结果表明,有效的八臂游动无需预设的臂间相位耦合,可通过学习特定幅度的调制在节律控制结构内实现。