PyRUA-REAL:基于真实世界探索与自适应学习的机器人递归自我改进框架
该研究提出 PyRUA-REAL 框架,利用编码智能体将空间推理与可执行机器人行为结合,通过保留交互经验作为持久记忆和可复用技能来实现物理操作能力的持续改进。实验在八项真实任务中平均成功率达 91.1%,并在 RoboDojo 基准的 42 项任务上达到 84.4% 的平均成功率。
该研究提出 PyRUA-REAL 框架,利用编码智能体将空间推理与可执行机器人行为结合,通过保留交互经验作为持久记忆和可复用技能来实现物理操作能力的持续改进。实验在八项真实任务中平均成功率达 91.1%,并在 RoboDojo 基准的 42 项任务上达到 84.4% 的平均成功率。
这篇论文是 2024 年 1 月至 2026 年 11 月初关于灵巧机器人手的结构化叙事综述,涵盖硬件、数据采集与策展、跨本体迁移、基础模型学习及评估五个层面。作者指出人类数据价值取决于运动学、视觉和接触对齐而非单纯记录量;共享动作表示无法消除本体特有的力、延迟和接触约束;仅凭任务完成度不足以确立物理正确性或部署就绪性。材料还识别了十一项开放问题,并提出了可测量的全栈进展报告接口与受控比较方法。
针对视觉语言动作模型(VLA)推理耗时可能超过机器人实时需求的问题,本文对七种推理优化方法进行了全面测量研究。研究在从数据中心 H100 到嵌入式 Jetson Thor 的四类 GPU 上评估了七个最先进的 VLA 模型,分析了 CPU 启动开销、内存带宽和内核效率如何共同影响优化收益,以及单一方法的改变如何影响其他方法的增益。
该论文提出一种由规划器条件化的空地辅助方法,通过评估地图信息的不确定性对地面移动基线规划(MPPI)的影响来决定何时请求空中协助。当导航性能下降时,系统会在解析后的地图假设下评分相同规划轨迹,选择改进最大的地图层并请求对应的空中测量,融合后重新规划。
推荐理由:提出基于不确定性的空地协同导航方法,在仿真与实地实验中显著降低无人机飞行时间并提升地面车辆到达率。
在存在不可见横流的复杂水下环境中,引入软性振动触觉垫可缓解操作员物理与时间负荷并显著提升驾驶速度。尽管该条件导致心理需求最高且引发挫败感,但实验表明触觉线索能增强操作员自信度与安全感知。研究结果发表于 IEEE Telepresence 2026,证实了触觉反馈在提升危险环境遥操作表现方面的有效性。
本文通过受控的真实机器人实验,评估了从同一视觉 - 触觉流中衍生的不同物理线索(接触外观、几何形状、切向变形)及其编码策略对模仿学习的影响。结果显示,引入触觉感知将任务成功率从 57.8% 提升至 78.9%,其中标记流场作为单一线索效果最佳,成功率达 74.4% 且在调节已建立接触方面作用关键;因子化编码和交叉注意力融合策略也分别被证明能提升性能或提供轻量级替代方案。
论文提出 Compounding Physical RSI 框架,解决通用机器人策略在物理环境中因下游瓶颈不可观测、失败轨迹无法提供修正动作及更新共享参数导致技能退化等问题。
推荐理由:提出 Compounding Physical RSI 框架,将执行失败转化为可继承能力,在 RoboDojo-Sim 基准上实现领先性能。
针对真实世界未映射表面上工具滑动所需的表面法向未知问题,本文提出 SCRUB 一种基于接触的估计器。该方法利用卡尔曼滤波融合两个线索:一是通过测量倾斜角随运动的力变化来估计法向;二是结合步态周期平均速度以消除垂直于表面的运动分量。实验在宇树 Go1 硬件上验证了该方法在无已知、未对齐或视觉预测法向的情况下,能完成墙面穿越和柱体环绕任务。
该研究提出利用数据学习修剪螺旋面软体躯干机器人的 adiabatic spectral submanifolds (aSSM) 模型,并将其集成至模型预测控制 (MPC) 框架以解决高非线性形状调控难题。
推荐理由:基于 aSSM 理论的数据驱动模型预测控制方法,在软体躯干机器人的全身体形动态调控任务中显著优于线性基准。
论文提出 soccerbot,这是一个分层强化学习框架,通过从大规模人类足球动作捕捉数据中蒸馏结构化潜在运动先验来解决现有方法技能覆盖有限或产生不自然行为的问题。
针对人形机器人全身控制中高维耦合动力学及关节自由度物理异质性的挑战,论文提出 H^2MARL 分层异构多智能体强化学习框架。该方法采用关节级物理异质性感知策略分解,使每个扭矩驱动的自由度基于其执行器、运动学和动力学属性进行条件化建模;同时开发闭环策略 - 执行器协同优化机制,利用共享交互轨迹联合适配高层姿态规划与低层关节执行,降低分布不匹配问题。
针对现有基准在长程移动操作中对依赖记忆的决策评估不足的问题,作者提出了 Robocasa-Mem 新基准,包含九个需要利用交互历史的关键任务。该基准涵盖环境记忆(空间位置、属性与关系)和过程记忆(单任务进度与多任务调度),并引入行为条件评估机制,允许评估器根据机器人早期动作推导后续约束,从而减少基于固定目标的捷径。
该论文针对视觉语言动作模型(VLA)因缺乏细粒度感知监督而依赖无关视觉捷径的问题,提出 $A^3$-VLA 框架。该方法利用操作过程产生的视觉变化生成启发式候选区域,并通过离线分割模型细化,结合注意力分配损失与对比学习损失实现任务关键区域的引导。实验表明,该框架在多个基准上使 VLA 主干的平均成功率提升 6.5% - 25.2%,且材料为预印本版本。
推荐理由:针对 VLA 依赖视觉捷径的问题,提出利用交互变化生成感知引导的框架,在仿真与真实任务中显著提升成功率。
论文提出 TwinBridge 框架,通过结合 3D Gaussian splatting 与物理仿真构建数字孪生,为现实世界的在线强化学习提供策略初始化及稠密视觉奖励。该框架将基于仿真的监督蒸馏为视觉奖励模型,在真实交互中结合执行历史计算稠密奖励以优化人机协作下的策略。实验显示,该方法在五项实验室操作任务上实现了 98% 的平均自主成功率,且每任务仅需最多 25 分钟的真实世界交互时间。
推荐理由:该框架利用数字孪生提供策略初始化与稠密视觉奖励,在五项实验室任务中实现 98% 自主成功率,仅需每任务最多 25 分钟真实交互。
该研究量化了抓取柔性物体时涡流诱导扭矩与供气压力、切向喷嘴直径及表面几何曲率的耦合效应,发现穹顶凹面在几何匹配良好时产生最大且可重复的响应。高斯过程回归在交叉验证中表现最优,证实可从气动和几何参数估算扭矩,为灵巧操作软体物体提供预测基础。
该研究针对杂乱受限环境,提出融合全局轨迹规划与实时几何优化的移动连续体机器人全身避障框架。系统结合 A*搜索与最小加加速度规划生成参考轨迹,利用黎曼优化协调基座运动与形变以避开障碍物。仿真管道穿越及真实密集障碍导航实验表明,该方法显著提升了运动一致性、可行性与环境适应性。
针对模型预测控制和强化学习中确保安全性的挑战,本文引入新型安全集类,其范围优于传统控制不变集。通过限制预测时域内不同节点而非仅终端状态来保证递归可行性;若安全集为控制不变集的内近似,则可通过安全中止策略确保安全性。在六关节机器人操作臂的广泛仿真及硬件实验中,该方法相比最先进方法减少了约束违反,同时保持了相当的跟踪性能和计算效率。
推荐理由:提出超越终端约束的安全集新方法,在仿真与硬件实验中验证了比现有方法更少的约束违反且保持跟踪性能。
针对机器人操作需记忆被遮挡信息或动作序列的挑战,作者提出三层系统:GPT-6 Astra(System 2)从视觉历史中选择子任务,π0.5 策略执行,Qwen3-VL-4B 监控器检查完成状态。该系统在 RoboMME 基准上成功率达 79.13%,平均调用 3.63 次规划器且耗时 80.84 秒/集,比最佳非神谕基线高 34.62 分。论文已接受于 CoRL 2026 相关研讨会。
推荐理由:提出三层架构系统,在 RoboMME 基准上以低成本调用规划器实现 79.13% 成功率。
该研究提出大语言模型(LLM)应作为水下机器人的额外支持层,负责故障诊断、遥操作交互及任务调整,而非常规控制。由于当前在 grounding、一致性及因果推理上的局限,系统尚缺乏直接控制所需的可预测性。架构建议保留传统自主模块处理感知与执行,利用 LLM 进行调试、编排及事后分析。
ReactWorld 是一种受思维链推理启发的具身视频生成模型,旨在解决机器人动作引发的场景变化中物体响应与任务意图及接触动力学不一致的问题。该模型在特征空间引入交互响应场预测器以明确参与者角色、未来运动响应强度及局部运动变化,并通过响应反馈适配器将预测位移转化为时间注意力位置偏差,从而引导跨帧的信息检索与物体特征更新。
Online Adaptation to Latent Physical Properties for Learning from Demonstration 方法通过在线更新物理属性潜变量,使模仿策略能根据交互调整操作动作。真实与仿真实验显示该方法提升任务成功率,但在未见质心位置时仿真成功率仍约 30%。论文已接受 IEEE/SICE SII 2027 会议,代码与数据待公开。
针对服务机器人基于自由指令(含视觉特征与场景文本)检索并搬运日常物体的任务,研究提出 STARE 模型。该方法利用跨语言视觉提示增强对嵌入环境的场景文本解释能力,并建模指令中命名实体与对应物体间的复杂关系。
针对多指灵巧手操作多样物体的高维动力学挑战,本文提出一种方法,通过利用人类 - 物体交互数据集学习预测未来手 - 物体状态,将其作为强化学习的通用奖励项以减少任务特定工程依赖。实验在仿真和真实世界三种操作任务上进行,结果显示该方法在成功率和新对象泛化性上优于现有最先进方法,并验证了在不同机器人手上的跨具身兼容性。该论文已作为口头报告被 AAAI 2026 接收。
该研究提出 LumiTac 传感器,这是一种无摄像头的紧凑光电子触觉设备,通过空间分布照明与光谱编码结合实现六维力矩测量。传感器直径 12 mm、厚度 4.75 mm、重量小于 2 g,成本约 7 美元。
推荐理由:论文提出了一种紧凑的六轴光学触觉传感器,实现了高刷新率与低延迟,为机器人灵巧操作与人机交互提供了新的感知方案。
针对离线强化学习中回放缓冲区被常规操作主导、罕见关键事件采样不足的问题,本文提出一种无需标签或奖励的统计杠杆分数评分机制。该方法首先筛选长尾特征列以捕捉异常分布,其次放弃重要性权重修正而直接优化重平衡目标,最后将规则应用于相对目标的短轨迹窗口以恢复关系信号。在需绕过障碍物推物体的三关节机械臂实验中,任务成功率从 0.49 提升至 0.69,接近有标签oracle的 0.74 上限。
论文提出 FWIK 方法,通过考虑未来窗口内的多路点来选择冗余机械臂的逆运动学解,结合自碰撞模型与 MoveIt 2 规划器进行验证。在 Franka Emika Panda 和 KUKA LBR iiwa 两个 7-DoF 机械臂上,FWIK 在所有八种机器人 - 规划器设置中均实现了最短规划轨迹时长,且序列完成率介于 96.8% 至 100%。
推荐理由:FWIK 方法在仿真中显著缩短规划时间并提升序列完成率,为冗余机械臂的在线逆运动学选择提供了新方案。
Otobong Jerome 等人研究了最优快速探索随机树(RRT*)在三角形网格地形上的适用性。研究发现原始 RRT*因零体积特性无法运行;简单的 Mesh RRT*版本虽能运行但最小化错误目标,导致成本偏差。
针对平层联合嵌入预测架构(JEPAs)在长视界规划中时序区分度不足的问题,本文提出一种轻量级时间到目标(Time-to-Goal, T2G)指标。该方法利用离线轨迹中的潜在三元组进行训练,通过边距排序损失显式学习时序顺序,无需奖励或策略标签即可替代欧氏距离作为规划成本。
推荐理由:该工作提出轻量级时间到目标指标,解决平层世界模型在长时规划中时序区分度不足的问题。
针对学习型机器人策略在训练阶段评估困难的问题,论文提出 RACE 指标,利用固定集的成功轨迹校准动作偏差并聚合累积评分,替代昂贵的实机测试。实验表明,该指标在仿真中优于基线且对验证集变化鲁棒,在真机上其检查点排名与部署成功率一致,能有效区分不同偏差对任务成功的影响。
推荐理由:提出 RACE 指标,利用固定成功轨迹校准动作偏差以替代昂贵实机测试,仿真与真机实验均显示其排名与部署成功率高度一致。
针对短视界模型预测控制(MPC)因视野局限导致的多模态最优解平均化或继承不一致专家决策的问题,提出 ZipDrift 方法。该方法训练一个仅基于候选修正代价评估的一步漂移生成器,结合学习到的评论家对候选进行排序,由 MPC 强制执行动力学与约束。
该论文研究基于物理的动作迁移问题,即寻找能复现参考运动并满足接触动力学的机器人控制策略。作者提出 GRASP 框架,结合采样探索与梯度引导优化,通过拟合存档轨迹的局部二次成本模型来指导马尔可夫链蒙特卡洛更新,无需依赖可微仿真器。
OUCH 是一款腕戴式设备,利用堆叠气动囊和刚性压头在手腕提供可控的有害机械刺激以评估意识障碍患者的运动反应。实验显示,200 kPa 充气压力下其接触压强达 18,500 kPa,诱发不适所需施加力比商用手持测痛仪低约 89%。该研究通过有限元分析和变形测试床验证了设备在表面局部变形的能力,为客观神经学评估奠定基础。
OdorSpaces 是一个基于物理的仿真平台与基准,旨在探索被忽视的具身 AI 中的嗅觉感知领域。该平台在 Habitat-Sim 中集成了由 Fire Dynamics Simulator (FDS) 驱动的三维气味传输与扩散模拟,使智能体能够利用视觉和嗅觉观测在逼真的室内环境中导航。
该论文提出了 PHIL(Proactive Human-in-the-Loop)框架,旨在通过偏好学习实现主动策略修正与后训练。系统允许操作员在 XR 界面预览策略预测的未来运动并在接管前进行干预;被拒绝的策略预测会与同一状态下执行的修正动作片段配对,用于鼓励策略偏好这些修正。
推荐理由:PHIL 框架通过 XR 界面预览策略预测并允许人工干预,利用偏好学习将修正动作反馈给策略,使扩散策略和 X-VLA 在四项真实任务上的成功率分别提升约 26% 和 19%,且减少了不必要的恢复行为。
该论文针对工业协作机器人和四旋翼无人机已知的平滑性要求,指出软体连续机器人的需求可能更高。为此,作者提出了一种$oldsymbol{ ext{C}^ ext{₅ﱿ}}$-平滑轨迹生成器,在满足运动学限制的同时生成无穷次可微分的轨迹,确保速度、加速度及高阶导数(如加加速度等)连续。研究特别关注了起止点所有导数为零的边界条件情况,并通过仿真和硬件实验验证了该方法的有效性。
该论文提出一种无需预定义接触序列的接触隐式全身优化框架,用于规划类人机器人在复杂参数化地形上的动态运动。通过引入新颖的接触约束和地面几何近似模型,将适用范围从平坦表面扩展至任意光滑曲面。
ELA 是一种针对机器人模仿学习的新框架,旨在解决动作标注数据稀缺的问题。该方法联合训练潜在动作模型、潜在动作策略和动作解码器,能够从丰富的无动作标签视频演示中学习,并仅需少量带动作标签的机器人演示即可实现下游控制。实验表明,该框架在仿真和真实世界的操作任务中均优于现有的潜在动作基线方法,且通过轻量级 4M 参数动作解码器与现有模仿学习方法无缝集成,无需修改策略架构或训练目标。
推荐理由:ELA 框架联合优化潜在动作表示与解码,仅需少量标有动作的演示即可利用海量视频数据提升策略性能。
论文介绍 MESA 评估框架,旨在解决现有基准狭窄或过于宽泛的问题,实现对语言条件策略泛化能力的精确测量。该框架包含五个评测套件,隔离分布内性能并针对空间配置、物体实例、物体类别和子任务组合四个泛化轴进行诊断。
论文提出了 Ctrl-F 分层运动 - 力控制框架,旨在解决传统运动跟踪器仅知目标位置而不知如何与环境交互的问题。该框架包含统一运动 - 力控制器和高层在线力规划器,能在每个接触点(如手或脚)施加指定的三维力。
推荐理由:提出 Ctrl-F 框架,通过显式力指令增强运动跟踪,在硬件上实现大负载拖拽、推举及踢击等盲法基线无法完成的任务。
这篇论文介绍了 NEO-VLA 框架,主张视觉语言动作模型不应依赖固定的视觉编码器输出,而是让图像 token 在骨干网络中随语言共同演化。实验表明,这种架构在多种操作设置和分布偏移下比传统编码器方案更鲁棒,且关键动作信号往往在最终视觉表示之前达到峰值。材料为预印本版本,代码链接已提供。
推荐理由:该预印本提出无编码器架构,证明直接访问视觉计算层级能提升操作鲁棒性。