RoboPilot:支持双思维模式的通用动态机器人操作框架
论文提出了 RoboPilot 框架,这是一个具备双思维模式(快慢思考切换)的闭环智能体系统,用于解决复杂长程机器人操作任务中的环境变化与误差累积问题。系统结合基础动作规划与灵活生成,利用思维链进行高层规划并引导底层执行,支持从动态变化和错误中重新规划。
论文提出了 RoboPilot 框架,这是一个具备双思维模式(快慢思考切换)的闭环智能体系统,用于解决复杂长程机器人操作任务中的环境变化与误差累积问题。系统结合基础动作规划与灵活生成,利用思维链进行高层规划并引导底层执行,支持从动态变化和错误中重新规划。
针对大语言模型在机器人操作中存在的歧义、噪声及上下文限制问题,本文提出 LYRA 框架,将人类反馈蒸馏为模块化可复用技能,并利用外部记忆与检索增强生成支持超长时域任务。
推荐理由:提出 LYRA 框架,通过人类引导的终身代码生成与外部记忆检索,在多个基准及真实任务中实现超长时域操作的稳定执行。
SQAM 通过利用预训练流策略雅可比矩阵对角化特性,以闭式标量伴随替代逐步向量 - 雅可比积,显著降低计算成本。该方法结合动作处的价值惩罚,在 OGBench 四个最难领域成功率较最强基线提升 18 至 35 个百分点。实验还验证了其在真实双臂机器人上的有效性,SQAM 在所有三项任务上均优于监督微调结果。
针对端到端模仿学习策略受限于数据多样性且难以零样本部署的问题,本文提出 RoboPrompt 系统,允许用户通过绘制轨迹、目标点等稀疏输入直观引导策略行为。该方法将意图翻译与底层策略解耦,利用可复用模块生成动作草稿并通过扩散或流匹配动力学进行细化,无需修改基线策略架构或微调即可平衡人类意图与策略先验。
该论文提出一种因子化触觉表征与控制框架,旨在弥合模拟接触与设备特定传感器响应之间的差距,同时保留控制所需信息。该方法将有效接触响应分解为接触几何、力分布和时间变化,并通过特定的编码和随机化处理。
针对产生气动升力的物体投掷,本文提出了一种以释放状态为中心、分阶段识别飞行动力学的模型化框架。通过筛选候选参数以在不确定接触条件下控制释放自旋,该框架为关节速度受限的六自由度机械臂设计了投掷动作与回旋镖设计。
CMP-IRRT*提出了一种基于通道 Mamba PointNet 引导的有信息 RRT*算法,通过感知模块将深度预测转化为地面相对高度图以区分高低障碍物。实验显示该规划器在基准测试中减少了探索节点数,并在可穿越低障碍场景中将路径长度缩短最多 16.3%。Unitree Go2 演示进一步验证了其可执行的绕行与穿越行为,代码已公开。
论文提出了 FoldBack,这是一种针对长周期衣物折叠任务的自我修正掩码生成策略。该方法通过三个推理时决策(何时细化验证、如何回滚、何处重试)实现纠错,无需恢复演示或基础策略重训即可检测并修复失败交互。在六类共 33 件真实衣物上测试,FoldBack 最终折叠成功率为 75.2%,最终掩码 IoU 为 0.837,显著优于最强基线(45.7% 和 0.689)。
针对视觉 - 语言 - 动作(VLA)模型缺乏统一触觉基准的问题,该工作提出 OpenViTac 基准,将接触丰富操作划分为四个触觉相关能力维度,并提供配对仿真与现实设置以一致评估 VLA、WAM 和 VTLA 策略。研究进一步探讨不同触觉表示与融合策略对预训练 VLA 模型性能的影响,引入 OpenVTLA 触觉增强框架结合最优方案,并利用配对设置分析影响跨域策略学习的因素。
针对机器人微创手术中触觉反馈缺失问题,研究团队提出一种紧凑型传感器,其采用嵌入可变形弹性体接触层的霍尔效应传感器与磁铁。该传感器经六自由度并联机器人校准后,每个传感单元对法向和剪切力的平均 RMSE 为 2.133 kPa。在鬼影及离体猪组织上的验证表明,该设备能有效感知牵拉过程中的触觉信号及打滑现象。
Ken Nakahara 等人系统研究了高分辨率动态触觉传感对灵巧机械手抓取稳定性的贡献。团队收集了包含 10,000 次抓取尝试的数据集,涵盖 200 个物体及外部视觉、本体感觉和触觉流数据。
论文发布 Video Prediction Policy 2(VPP2),一种旨在将视频预测先验转移至动作学习的世界动作模型(WAM)。针对现有模型在开放环境中产生错误运动预测的问题,作者通过大规模操作视频数据集进行事件级预训练以增强泛化性,并将视频模型蒸馏为单步视觉规划器,同时引入混合 Transformer 架构的动作模块以学习隐式逆动力学模型。
推荐理由:作者提出 VPP2,通过事件级预训练与混合 Transformer 架构解决现有世界动作模型在开放环境中的运动预测错误问题。
VolCo 提出了一种将表面点扩展至三维体素网格的体积接触表示法,以解决传统规则导致的严重穿透问题。其框架 VolCoDiff 结合局部变分自编码器与全局引导扩散模型,在两个基准数据集上实现了更少的穿透和更高的稳定性,支持紧密抓取的生成。代码已开源,论文已被 NeurIPS 2026 接收。
该研究提出了一种采用关节特异性混合远程驱动架构的完全驱动四自由度机械手指,其中掌指关节由两组刚性连杆传动驱动,近端和远端指间关节则通过闭环钢丝传动独立驱动。实验定量评估显示,在孤立驱动模式下,掌指、近端及远端指间关节的平均峰值指尖力分别为 21.28 N、9.22 N 和 5.75 N,验证了传动系统的机械解耦性能与不同几何物体的适应性。
该方法利用 DigiTac 软光学触觉传感器的单帧变形图像,结合 UR10 机械臂本体数据与扩展卡尔曼滤波,在线估计压入深度、表面倾斜角及三维接触力并给出每样本不确定性。实验在人类遥操作下验证了针对刚性平板的闭环接触力调节能力,仅需触觉作为外部反馈即可完成线性与角运动控制。
该系统利用搭载摄像头的四足机器人通过实时无线电链路,为 GNSS 拒止环境下的微型无人机提供视觉定位与导航支持。在仅依赖外部估计的条件下,无人机执行预定轨迹的中位三维定位误差为 59 mm,且能在视线受阻时平滑切换至机载惯性飞行模式。该框架成功将四足机器人转化为无人机的观测器,使其能够独立巡检大型机器人无法进入的复杂受限空间。
针对近距操作和相机遮挡场景下末端执行器定位不准的问题,该工作提出 MILD 数据集(含真实世界与仿真序列)及 AprilVINS 方法。MILD 包含来自 Insta360 X5 等设备的 86 个传感器序列,覆盖 15 次重复桌面任务;AprilVINS 结合鱼眼视觉惯性估计与局部 AprilTag 几何,在无需预测绘标贴地图的情况下实现毫米级定位精度。
一款成本低于 300 美元、重量小于 2 千克的紧凑型移动机器人原型,利用折纸灵感轮组实现运动控制与传感几何的主动调节。系统在纹理缺失室内走廊及户外阳光区域测试中,全帧无效深度比例分别从 21% 降至 11%、从 48% 降至 18%,实现了连续可调的 LiDAR viewpoints 与改进的深度覆盖。
该论文提出了一种端到端的自主管道,用于设计和构建定制木制组件。生成式 AI 代理将用户提示转化为初始 3D 几何形状,并通过基于梯度的修复阶段调整组件几何以解决不连续和重叠问题。该方法在 60 个新自然语言输入中实现了 86.7% 的机器人螺丝刀驱动成功率,并在两个 UR5e 机器人上对其中十种结构进行了物理组装演示。
推荐理由:提出端到端自主设计流程,通过可微几何修复显著提升了机器人组装成功率。
论文提出了 YUBI-STAG 框架,利用接触 - 物体分割与视觉语言模型自动为操作演示注入细粒度交互语义,以对齐预训练 VLA 模型。研究进一步蒸馏出仅凭手腕视角即可从原始视频恢复动作结构的 YUBI-VLM。在 YUBI-STAG-Bench 上的评估显示,该方法在时序、语义和空间定位任务上均有效,且后训练策略显著改善了双手动实验中的指令遵循与物体控制能力。
该论文针对从示教数据训练的视觉语言动作模型继承人类时序但无法直接迁移至机器人的问题,提出 RoboPace 在线重时层。该方法在保持几何路径的同时,根据预测接触调整执行速度以符合机器人动力学约束,无需策略重训且支持实时运行。实验显示其在双臂机器人上比慢速均匀执行成功率更高,并在约一半时间内完成五分之四的指令。
本研究提出针对腱驱动臂设计的多目标优化方法,利用 NSGA-II 算法同步最大化关节扭矩并最小化手臂厚度。结果揭示了通过战略性捷径实现有效力矩臂扩展的帕累托最优设计方案,为构建紧凑高扭矩机器人提供了超越传统直觉的工程指导与新颖见解。
该论文研究了针对变形线性物体(如绳索)的动态操控问题,提出在指定终点位置及到达方向的目标设定下,通过单摆动作完成打击任务。作者扩展了 DeformX 仿真器至 DeformX2.0,引入 GPU 加速与气动模型以提升效率;提出 TRACE 方法生成带方向约束的打击数据,并训练条件流匹配策略;最后提出 RECAP 残差校准策略以适配真机参数。
推荐理由:提出 DeformX2.0 仿真器与 TRACE、RECAP 策略,实现变形绳索打击任务从仿真到真机的跨域迁移。
针对模仿学习策略过度依赖视觉模态的问题,该方法通过注意力估计依赖度并选择性丢弃主导模态,结合熵正则化。实验显示,在双机械臂真实机器人测试中,面对间歇性视觉丢失时,基线策略成功率大幅下降,而 Targeted Modality Dropout 仍能维持任务执行;相比之下,无熵正则化的常规随机丢弃方法即便在无视觉丢失情况下也会失败。该研究已提交至 2027 IEEE/SICE SII 会议。
MagCilia 是一种结合柔性磁纤结构与霍尔传感器的紧凑型触觉传感器,旨在同时测量法向和切向力并获取接触表面的信息。研究通过准静态有限元分析调查了多方向加载下的结构变形和磁响应,并提出因果历史融合回归(CHFR)方法从耦合的磁场通道重构力信号。
论文提出 FACE 框架,旨在解决接触丰富操作任务中因表面几何、朝向和摩擦微小变化导致交互力大幅波动的问题。该方法将意图任务行为与环境依赖的接触因子解耦,利用归一化接触相对坐标表达交互力,并通过学习的接触法向估计器和在线摩擦估计器推断局部接触状态与有效摩擦尺度。
针对人形机器人全身运动中的末端执行器精确跟踪难题,该研究提出 ResGAC 控制器,结合几何导纳控制与残差强化学习以补偿未建模动力学并协调运动平衡。实验在 Unitree G1 真机上验证,在四项站立末端跟踪基准测试中均优于 SONIC 等基线;在站立插孔任务中成功率达 90%(SONIC 为 50%),且有效抑制了骨盆运动向期望末端的传播。
推荐理由:该工作提出结合几何导纳控制与残差强化学习的 ResGAC 控制器,在 Unitree G1 真机上验证了优于基线的末端跟踪性能。
针对纯视觉合理性无法捕捉真实交互脆弱物理流形的问题,作者构建了包含一万条样本的 AgiBot-PhysPref 数据集以隔离物理违规情况,并提出 RobotAPO 框架在连续流匹配去噪空间中进行优化。该方法通过轻量级对抗反事实提议器探索物理交互边界,无需外部结构条件即可保持纯提示推理接口。实验显示,该框架在真实机器人复现中相比最强内部基线将任务成功率相对提升了 37.4%。
IVG-UAV 系统整合 Whisper 与 LLM 进行语音识别,结合计算机视觉实现果实成熟度分类及自适应路径规划。该系统在 Gazebo 仿真环境中完成建模与验证,旨在解决热带地区大规模农场依赖人工采摘导致的高成本与物流复杂问题。目前项目处于预印本阶段,尚未涉及真实部署或量产。
该论文针对生成式世界模型仅能预测场景演化却无法直接提供控制所需紧凑任务变量的问题,提出实体级目标读出接口。该方法结合以观测深度为基准的位姿预测与 SE(3) 空间中的紧凑目标表示,配合共享 Pose-Native Executor 实现闭环控制而不需重跑世界模型。
该论文提出 Co2Skill 框架,旨在复杂非结构化环境中实现类人灵巧性。方法基于预训练运动先验,利用任务与阶段相关的观测掩码整合场景交互与灵巧操作能力;引入目标条件化的移动 - 操作课程及跨任务课程以联合训练技能并维持物理状态连续性。评估涵盖坐立、攀爬、楼梯穿越及目标导向操作等长序列任务,并在室内环境演示了技能组合的集成效果。
论文提出了一种针对物流和仓储自动化的多物体多目标投掷(MOMT)快速规划框架。该方法离线构建可行集模型,在线通过状态匹配与过滤在 5 ms 内生成投掷序列。实验基于配备多指手的 7-DoF 机械臂,仿真显示双物体协同投掷比独立规划快 46%,实物实验确认快 29%。
推荐理由:该预印本提出了首个多物体多目标投掷统一规划框架,在仿真与实物上验证了通过单次挥臂提升吞吐率的可行性。
论文提出了 StableGrasp 方法,这是一个基于可微仿真优化的框架,旨在解决仅凭 RGB 图像重建物理稳定人手抓握的难题。该方法将视觉手姿与决定抓取力的控制目标显式分离,通过在可微仿真器中最小化抓取的动能来联合优化几何与控制,同时正则化以保持视觉一致性和几何合理性。
推荐理由:提出基于可微仿真的优化框架,将视觉手姿与力学控制目标解耦,显著提升了单图重建握持的物理稳定性。
geodex 是一个开源 C++20 库,提供 Python 绑定,支持在配备用户定义黎曼度量的规范空间及机械臂构型空间上进行基于采样的运动规划。该库将流形、度量、重投影和采样器作为独立组件暴露,能生成比平坦度量更短、能耗更低且自然的轨迹。项目附带文档、测试及可复现的基准套件,代码与教程已公开提供。
论文提出 Workhorse 框架,通过无机器人参与的人类演示数据,分别训练预测躯干、手腕和脚部五连杆目标的视觉规划器及强化学习全身跟踪器。系统在真实 Unitree G1 上展示了分拣盒子、踢球、接住抛掷物以及翻越行李箱的能力,并在有人推搡或拿走物体时保持恢复能力。仿真实验显示,该系统在演示室副本中完成分拣任务的成功率分别为 77%(含干扰)和 83%(无干扰)。
推荐理由:Workhorse 利用人类演示数据训练视觉规划与强化学习策略,在 Unitree G1 上实现抗干扰的全身操作。
PhysEvo 是一个围绕单一冻结模型的物理递归自改进(RSI)框架。任务代理执行机器人任务,元代理利用轨迹诊断失败、修订工具与技能并测试修正,同时提升自身诊断能力以支持后续行动与自我改进。
该研究提出了 HULK 框架,旨在解决人形机器人搬运大重量物体时的全身力控难题。作者利用模型预测控制(MPC)引导强化学习,训练了两个教师策略:一个在腕部受力下追踪手臂动作,另一个在手持重物时进行移动。
该论文研究了两种不同手侧几何结构的 DexUMI 系列外骨骼在遥操作采集中的差异。结果显示,改进的接口降低了物理需求,提升了设备评分,并实现了基线机械阻挡下的精密抓握触觉访问。
本文介绍了首个用于开放非受限表面液滴自主导航的机器人平台,利用两轴倾斜板和覆盖硅油薄膜驱动液滴,结合顶置摄像头实时反馈。该策略仅通过 50 至 150 次物理交互训练完成,无需仿真或解析模型,并展现出对未见几何结构的零样本迁移能力、自发现振荡解粘策略以及全流程小于 90 分钟的训练效率。材料为预印本论文,已接受于 IROS 2026 研讨会展示。
针对机器人抓取易碎物体时的状态感知难题,论文提出了 SAFE 方法,该方法无需视觉或先验材料知识,仅通过两个被动 PVDF 声学传感器和电机本体感知即可实时检测滑移与断裂。
推荐理由:提出基于低成本声学传感器的滑移与断裂检测方案,在未知材质下实现高准确率闭环控制。