PS2-RL:一种可扩展且可证明安全的强化学习框架
论文提出了 PS2-RL 框架,旨在解决传统方法在提供形式化安全保证与可扩展性之间的权衡问题。该方法利用学习到的备份策略在线生成隐式控制不变集,无需显式计算不变集即可实现快速恢复和端到端训练。理论分析表明该框架可应用于任意现有强化学习算法,并在高达 10 维状态空间的机器人控制任务中验证了其性能与安全性。
论文提出了 PS2-RL 框架,旨在解决传统方法在提供形式化安全保证与可扩展性之间的权衡问题。该方法利用学习到的备份策略在线生成隐式控制不变集,无需显式计算不变集即可实现快速恢复和端到端训练。理论分析表明该框架可应用于任意现有强化学习算法,并在高达 10 维状态空间的机器人控制任务中验证了其性能与安全性。
论文提出 FLAG(Flow policy with Latent-Augmented Guidance)方法,旨在解决高维动作空间中重要性加权监督学习易发生权重崩溃的问题。
这篇论文是 Transactions on Machine Learning Research 于 2026 年发表的首篇关于强化学习与图形用户界面智能体交叉领域的全面综述。
该研究利用 YOLO11n-OBB 检测器与 ArUco 参考位姿,使固定顶置相机下的约 200 美元 Waveshare RoArm-M2-S 无需腕部旋转即可分拣任意朝向的书写工具。
针对高质量遥操作数据集收集成本高且硬任务方向性不对称的问题,本文提出一种通过时间反转易任务来辅助硬策略学习的框架。该方法包含闭环数据采集、分层数据清洗(利用运动学先验和评论家引导的优势过滤)以及迭代策略学习三个核心组件。在两个仿真基准和真实机器人实验中,该方法在不依赖大量硬任务遥操作的情况下,相比基于反转和强化学习的基线方法,显著提升了复杂高精度操作任务的成功率并提高了训练稳定性。
推荐理由:提出利用逆向易任务轨迹作为监督信号,通过闭环采集与分层清洗降低硬任务遥操作成本。
AutoDex 是一种无需持续人工操作的灵巧抓取数据采集系统。该系统利用生成的抓取候选方案进行规划与执行,通过多视角物体跟踪处理手物遮挡下的标注,并利用残差扭矩碰撞监测及姿态导向复位实现闭环运行。
针对扩散基视觉语言动作模型存在的虚假视觉依赖和随机动作生成问题,作者提出无需训练的 Selected Diffusion Noise 方法。该方法将扩散噪声作为可控自由度,先利用反事实负样本集过滤候选动作块,再基于 JerkRMS 选择运动学最稳定的块。实验显示在三个 VLA 策略上,仿真与真实环境中的性能分别提升 8-10% 和 18.33%,有效改善了落地可靠性。
论文提出 InDex 框架,旨在解决预训练视觉语言动作(VLA)模型因平行夹爪接口而隐含多指接触协调的问题。该方法利用归一化孔径信号监督标量抓握意图,并分两阶段学习同步末端执行器 - 意图块及基于扩散的手部解码器。
该论文提出 Back to the Familiar Future (B2FF) 框架,旨在解决视觉语言动作(VLA)策略在操作过程中偏离名义轨迹的问题。该方法利用初始观测生成熟悉的未来状态库,并在检测到失败时通过可恢复性感知选择器选定里程碑作为固定视觉目标,从而将离轨观测映射回熟悉空间。
论文 AcroRL 提出一种基于强化学习的框架,通过调制恒定参考轨迹实现四旋翼的紧凑位置约束倒飞,同时兼容传统轨迹生成与跟踪。该方法在 JAX 仿真中相比最强优化基线将位置均方根误差降低 32%、稳定时间缩短 57%,硬件实验在多偏航角配置下成功完成倒飞且位置 RMSE 低于 0.35m,并开源了实现代码。
该图基概念建模框架通过整合功能建模与图论表示,明确表征人机系统中集体工作的关系及环境结构以支持早期协同策略探索。案例研究在灾难机器人领域展示了其如何识别支持灵活管理协调开销的协作能力,从而在设计实施前显式分析协调需求的时间演变。论文当前处于 IEEE Transactions on Human-Machine Systems 审稿中,提供 12 页正文与 5 幅图示。
针对软体机器人高维非线性动力学建模难的问题,本文提出一种不确定性感知的主动探索框架,自主学习任务无关且可泛化的动力学模型。该方法在连续臂、流体中的关节鱼和肌肉骨骼腿等三个仿真平台及真实气动连续臂上进行了评估。相比随机探索和任务特定基线,通过主动收集信息量大的数据,实现了更高的建模精度,并在未见任务中获得了更高的零样本控制回报,同时在感知噪声、执行延迟和材料非线性下表现鲁棒。
该论文提出了 MARLIN 框架,通过大语言模型在多机器人系统中提供高层规划并指导策略学习。系统利用语言模型进行机器人间的行动协商以生成计划,并在训练中动态切换强化学习与语言协商模式以提升探索效率。研究在仿真和物理机器人上进行了评估,结果显示该方法在早期训练阶段表现更佳且对最终性能影响有限。代码已开源。
该论文提出通过迭代强化学习实现通用机器人策略在部署阶段的在线自我改进。研究构建了结构化评估体系,系统验证了算法设计选择(如价值估计、策略提取与资源分配)的有效性。结果表明,正确的配方不仅能提升多任务性能,还能增强对未训练任务的泛化能力,且训练任务分布与基于价值的强化学习是实现这一泛化的关键条件。
Fluidic Body 是一种让操作者像使用手一样控制蜂群机器人的系统。通过在虚拟空间中建立手与蜂群间的流体映射,用户通过简单的手部动作(如张开或握紧)即可改变蜂群的物理属性:张开时蜂群变软以绕过障碍,握紧时蜂群变硬以推动物体。
针对脑控机器人中解码器评估忽略序列性的问题,本文将其形式化为部分可观测马尔可夫决策过程(POMDP),证明存在由最坏对数 Chernoff 信息决定的遗憾相变。研究推导出闭式遗憾预测器 U_id,在真实 EEG 数据上揭示了准确率相同但遗憾差异巨大的病理陷阱,为传感器与解码器选择提供诊断工具。
论文提出了 cuRoboV2-Fast,这是一种 GPU 加速的规划器,旨在降低无碰撞、感知负载且受扭矩限制的运动规划的延迟和执行时间。该方法利用 B-spline 轨迹优化减少迭代次数,并通过加速机器人计算和可微逆动力学适应变化的负载。
该论文提出 VABAR(Variational Automation Benchmark for Agentic Robotics),旨在评估代理机器人在物体形状与姿态变化下的可靠操作能力。
该研究在机器人操作仿真中评估了代码策略代理利用执行反馈进行重试的效果。结果显示,固定的查找表选择反馈模板与重采样方法在恢复成功率上相当(Qwen2.5-Coder-7B 在五轮重试内分别达到 85.3% 和 68.3%),且固定任务引导也能实现类似的恢复点估计。
该研究提出 PyRUA-REAL 框架,利用编码智能体将空间推理与可执行机器人行为结合,通过保留交互经验作为持久记忆和可复用技能来实现物理操作能力的持续改进。实验在八项真实任务中平均成功率达 91.1%,并在 RoboDojo 基准的 42 项任务上达到 84.4% 的平均成功率。
该论文提出了 TurnWise 框架,旨在改进流式视频理解中的强化学习策略。针对现有方法在轨迹层面共享奖励导致早期成功或失败影响后续回合的问题,该方法利用沉默补全前缀评分构建组相对优势,并将回合内的 token 损失平均化,从而平衡响应与等待决策的权重。实验表明,无需学习评论家模型或额外 rollout,该方法能显著提升流式策略的学习效果并减少冗余回复。
这篇论文是 2024 年 1 月至 2026 年 11 月初关于灵巧机器人手的结构化叙事综述,涵盖硬件、数据采集与策展、跨本体迁移、基础模型学习及评估五个层面。作者指出人类数据价值取决于运动学、视觉和接触对齐而非单纯记录量;共享动作表示无法消除本体特有的力、延迟和接触约束;仅凭任务完成度不足以确立物理正确性或部署就绪性。材料还识别了十一项开放问题,并提出了可测量的全栈进展报告接口与受控比较方法。
该论文提出一种由规划器条件化的空地辅助方法,通过评估地图信息的不确定性对地面移动基线规划(MPPI)的影响来决定何时请求空中协助。当导航性能下降时,系统会在解析后的地图假设下评分相同规划轨迹,选择改进最大的地图层并请求对应的空中测量,融合后重新规划。
推荐理由:提出基于不确定性的空地协同导航方法,在仿真与实地实验中显著降低无人机飞行时间并提升地面车辆到达率。
在存在不可见横流的复杂水下环境中,引入软性振动触觉垫可缓解操作员物理与时间负荷并显著提升驾驶速度。尽管该条件导致心理需求最高且引发挫败感,但实验表明触觉线索能增强操作员自信度与安全感知。研究结果发表于 IEEE Telepresence 2026,证实了触觉反馈在提升危险环境遥操作表现方面的有效性。
本文通过受控的真实机器人实验,评估了从同一视觉 - 触觉流中衍生的不同物理线索(接触外观、几何形状、切向变形)及其编码策略对模仿学习的影响。结果显示,引入触觉感知将任务成功率从 57.8% 提升至 78.9%,其中标记流场作为单一线索效果最佳,成功率达 74.4% 且在调节已建立接触方面作用关键;因子化编码和交叉注意力融合策略也分别被证明能提升性能或提供轻量级替代方案。
论文提出 Compounding Physical RSI 框架,解决通用机器人策略在物理环境中因下游瓶颈不可观测、失败轨迹无法提供修正动作及更新共享参数导致技能退化等问题。
推荐理由:提出 Compounding Physical RSI 框架,将执行失败转化为可继承能力,在 RoboDojo-Sim 基准上实现领先性能。
Rui Zhu 等人提出一种基于校准的关系世界模型的方法,用于检测机器人动作满足形状与范围约束但语义错误的静默失配现象(如轴置换、符号反转等)。研究在 LIBERO Spatial 任务的离线数据上验证了该方法:通过固定逆词汇表进行闭集定位,并在保持低误报率的前提下实现了优于单一残差方法的召回率。
推荐理由:该工作提出利用校准后的关系世界模型检测机器人动作与接口语义的静默失配,在 LIBERO 任务上验证了联合评分策略优于单一残差方法。
针对真实世界未映射表面上工具滑动所需的表面法向未知问题,本文提出 SCRUB 一种基于接触的估计器。该方法利用卡尔曼滤波融合两个线索:一是通过测量倾斜角随运动的力变化来估计法向;二是结合步态周期平均速度以消除垂直于表面的运动分量。实验在宇树 Go1 硬件上验证了该方法在无已知、未对齐或视觉预测法向的情况下,能完成墙面穿越和柱体环绕任务。
该研究提出利用数据学习修剪螺旋面软体躯干机器人的 adiabatic spectral submanifolds (aSSM) 模型,并将其集成至模型预测控制 (MPC) 框架以解决高非线性形状调控难题。
推荐理由:基于 aSSM 理论的数据驱动模型预测控制方法,在软体躯干机器人的全身体形动态调控任务中显著优于线性基准。
论文提出 soccerbot,这是一个分层强化学习框架,通过从大规模人类足球动作捕捉数据中蒸馏结构化潜在运动先验来解决现有方法技能覆盖有限或产生不自然行为的问题。
针对人形机器人全身控制中高维耦合动力学及关节自由度物理异质性的挑战,论文提出 H^2MARL 分层异构多智能体强化学习框架。该方法采用关节级物理异质性感知策略分解,使每个扭矩驱动的自由度基于其执行器、运动学和动力学属性进行条件化建模;同时开发闭环策略 - 执行器协同优化机制,利用共享交互轨迹联合适配高层姿态规划与低层关节执行,降低分布不匹配问题。
针对现有基准在长程移动操作中对依赖记忆的决策评估不足的问题,作者提出了 Robocasa-Mem 新基准,包含九个需要利用交互历史的关键任务。该基准涵盖环境记忆(空间位置、属性与关系)和过程记忆(单任务进度与多任务调度),并引入行为条件评估机制,允许评估器根据机器人早期动作推导后续约束,从而减少基于固定目标的捷径。
该论文针对视觉语言动作模型(VLA)因缺乏细粒度感知监督而依赖无关视觉捷径的问题,提出 $A^3$-VLA 框架。该方法利用操作过程产生的视觉变化生成启发式候选区域,并通过离线分割模型细化,结合注意力分配损失与对比学习损失实现任务关键区域的引导。实验表明,该框架在多个基准上使 VLA 主干的平均成功率提升 6.5% - 25.2%,且材料为预印本版本。
推荐理由:针对 VLA 依赖视觉捷径的问题,提出利用交互变化生成感知引导的框架,在仿真与真实任务中显著提升成功率。
论文提出 TwinBridge 框架,通过结合 3D Gaussian splatting 与物理仿真构建数字孪生,为现实世界的在线强化学习提供策略初始化及稠密视觉奖励。该框架将基于仿真的监督蒸馏为视觉奖励模型,在真实交互中结合执行历史计算稠密奖励以优化人机协作下的策略。实验显示,该方法在五项实验室操作任务上实现了 98% 的平均自主成功率,且每任务仅需最多 25 分钟的真实世界交互时间。
推荐理由:该框架利用数字孪生提供策略初始化与稠密视觉奖励,在五项实验室任务中实现 98% 自主成功率,仅需每任务最多 25 分钟真实交互。
该研究量化了抓取柔性物体时涡流诱导扭矩与供气压力、切向喷嘴直径及表面几何曲率的耦合效应,发现穹顶凹面在几何匹配良好时产生最大且可重复的响应。高斯过程回归在交叉验证中表现最优,证实可从气动和几何参数估算扭矩,为灵巧操作软体物体提供预测基础。
该研究针对杂乱受限环境,提出融合全局轨迹规划与实时几何优化的移动连续体机器人全身避障框架。系统结合 A*搜索与最小加加速度规划生成参考轨迹,利用黎曼优化协调基座运动与形变以避开障碍物。仿真管道穿越及真实密集障碍导航实验表明,该方法显著提升了运动一致性、可行性与环境适应性。
针对模型预测控制和强化学习中确保安全性的挑战,本文引入新型安全集类,其范围优于传统控制不变集。通过限制预测时域内不同节点而非仅终端状态来保证递归可行性;若安全集为控制不变集的内近似,则可通过安全中止策略确保安全性。在六关节机器人操作臂的广泛仿真及硬件实验中,该方法相比最先进方法减少了约束违反,同时保持了相当的跟踪性能和计算效率。
推荐理由:提出超越终端约束的安全集新方法,在仿真与硬件实验中验证了比现有方法更少的约束违反且保持跟踪性能。
针对机器人操作需记忆被遮挡信息或动作序列的挑战,作者提出三层系统:GPT-6 Astra(System 2)从视觉历史中选择子任务,π0.5 策略执行,Qwen3-VL-4B 监控器检查完成状态。该系统在 RoboMME 基准上成功率达 79.13%,平均调用 3.63 次规划器且耗时 80.84 秒/集,比最佳非神谕基线高 34.62 分。论文已接受于 CoRL 2026 相关研讨会。
推荐理由:提出三层架构系统,在 RoboMME 基准上以低成本调用规划器实现 79.13% 成功率。
该研究提出大语言模型(LLM)应作为水下机器人的额外支持层,负责故障诊断、遥操作交互及任务调整,而非常规控制。由于当前在 grounding、一致性及因果推理上的局限,系统尚缺乏直接控制所需的可预测性。架构建议保留传统自主模块处理感知与执行,利用 LLM 进行调试、编排及事后分析。
Online Adaptation to Latent Physical Properties for Learning from Demonstration 方法通过在线更新物理属性潜变量,使模仿策略能根据交互调整操作动作。真实与仿真实验显示该方法提升任务成功率,但在未见质心位置时仿真成功率仍约 30%。论文已接受 IEEE/SICE SII 2027 会议,代码与数据待公开。