通过可行动作映射连接强化学习与最优控制
针对受限动力学系统需兼顾复杂任务求解与递归可行性及物理约束的挑战,作者提出 Feasible Action for Optimal Control (FAOC) 框架。
推荐理由:提出 FAOC 框架,通过优化映射将 RL 动作转为 OCP 可行参数集,在乒乓球机器人任务中实现闭环性能提升。
技术方向
机器人模型、硬件、学习方法和真实部署;区分仿真、遥操作演示与自主运行。
1,139 条精选近 30 天 643 条共收录 4,549 条
针对受限动力学系统需兼顾复杂任务求解与递归可行性及物理约束的挑战,作者提出 Feasible Action for Optimal Control (FAOC) 框架。
推荐理由:提出 FAOC 框架,通过优化映射将 RL 动作转为 OCP 可行参数集,在乒乓球机器人任务中实现闭环性能提升。
论文提出了 Visible Touch 方法,通过将接触信号直接暴露在与场景相同的空间帧中,使任何基于图像的预训练策略(如 VLA)无需架构修改即可利用触觉信息。
推荐理由:该研究提出将接触信息融入视觉动作策略的新方法,并开源了低成本磁感应传感器与 CAD 模具流程。
论文指出监督微调后的视觉语言动作模型存在结构不对称问题,即缺乏关于成功行为失效边界的信号。为此提出 DLS 方法,基于少量真实演示与仿真协同训练构建真实接地行为先验,通过数字孪生在线策略 rollout 发现失败边界。
推荐理由:提出 DLS 方法,利用数字孪生与语义进度信号发现并塑造失败边界,提升 VLA 模型在随机初始状态下的鲁棒性。
该论文提出了 VIA(Visual Interface Agent)框架,将机器人控制重构为智能体任务,利用现成的通用智能体通过虚拟工作空间中的鼠标式工具直接驱动机械臂。研究在仿真和真实世界移动操作机器人上实现了零样本的多样化桌面操作与导航任务,且性能随基础模型规模提升而增强,表明现有前沿智能体具备直接迁移至机器人控制的能力。
推荐理由:提出 VIA 框架,证明通用智能体无需训练即可通过虚拟界面直接控制机器人完成操作与导航任务。
该研究针对多目标任务中因静态目标表示导致的失败问题,提出了一种扩展 Active InterCONnect 的方法,通过自适应空域投影动态处理冲突梯度。实验表明该方法在导航和推物任务上优于静态势场与扩散策略,并在真实机器人上成功解决了感知不确定性、关节限制及自碰撞等问题,证明了控制方法可替代部分规划功能。
推荐理由:论文提出自适应空域投影方法解决多目标冲突,在真实机器人上验证了无需规划即可处理感知不确定性与自碰撞的能力。
针对现有视觉语言动作模型(VLAs)泛化能力受限及缺乏显式空间推理的问题,本文提出 Agentic Scene Policies(ASP)框架。该框架通过场景智能体工具接口,利用部件级功能特性将场景理解与机器人技能统一在单一动作空间中,支持如拔充电器、开抽屉等零样本交互。实验表明,ASP 在零样本设置下表现优于领先的 VLAs,并展示了处理房间级查询的扩展性。
推荐理由:提出结合显式3D场景表示与运动规划的模块化策略,在零样本设置下超越主流VLA模型。
针对大语言模型在机器人操作中存在的歧义、噪声及上下文限制问题,本文提出 LYRA 框架,将人类反馈蒸馏为模块化可复用技能,并利用外部记忆与检索增强生成支持超长时域任务。
推荐理由:提出 LYRA 框架,通过人类引导的终身代码生成与外部记忆检索,在多个基准及真实任务中实现超长时域操作的稳定执行。
论文提出 RoboJEPA,这是一个基于联合嵌入预测架构(JEPA)的世界模型,训练数据涵盖 12 种不同的机器人本体。研究发现其潜在回放的想象误差遵循计算量的二阶幂律,且下游规划性能随计算量可预测地提升。该模型在 80 亿参数规模下实现了零样本部署,能在真实硬件上针对单目标图像进行长视界任务规划。所有模型检查点及训练与部署代码均已开源。
推荐理由:该工作首次建立了多具身机器人世界模型的扩展定律,展示了基于 JEPA 架构的 RoboJEPA 在计算量与性能间的可预测关系。
论文指出在目标条件策略学习中存在‘信息视界诅咒’,即增加目标重标视域会显著降低策略的泛化能力和性能。研究通过控制实验解耦了训练时的采样视域与测试时的执行视域,发现即使仅评估邻近子目标序列,基于行为克隆的策略也会因长视域训练而严重退化,而强化学习目标可缓解此问题。
推荐理由:研究发现目标重标视域过大导致泛化性能下降,通过短视域策略雅可比矩阵蒸馏至长视域策略可显著提升组合操作任务表现。
视觉语言动作模型(VLAs)对指令措辞高度敏感,单字修改即可导致成功率大幅波动。研究通过统计测试和 oracle 短语搜索发现,仅凭措辞调整可缩小分布内与分布外任务间的性能差距。
推荐理由:原文揭示了 VLA 对指令措辞的高度敏感性,并提出无需重训的改写规则蒸馏方法,可显著提升模型在分布外任务上的成功率。
论文介绍 HuMBLE 框架,旨在解决控制器优化于命令跟踪时产生机械步态、而绑定人类数据时泛化能力不足的问题。该方法首先利用自研数据集通过强化学习训练全身参考条件策略,再蒸馏为仅依赖本体感知和平坦躯干速度转向指令的轻量先验策略;随后通过多任务强化学习微调以扩展命令覆盖范围并增强鲁棒性,其中包含跟踪任意命令的目标条件任务和以人类数据为显式风格正则器的参考引导任务。
推荐理由:提出 HuMBLE 框架,通过教师 - 学生蒸馏与多任务强化学习平衡命令跟踪与人类步态特征,在 Atlas 等真机验证了实时可操控性。
论文提出了 Agentic RSR 框架,旨在解决场景重建与策略开发分离的问题。该框架利用视频、任务描述和已知机器人模型,通过智能体恢复度量尺度并迭代优化场景,随后在 MuJoCo 中检查交互并开发从特权姿态到视觉观察的策略。
推荐理由:提出将场景重建与策略开发通过同一任务链接的框架,在真实机器人上实现了 80% 的仿真成功率保留。
TouchScale 是一个包含约 500 小时接触丰富的人类交互数据的统一数据集,使用单一穿戴设备同步采集了第一人称 RGB-D 视频、手腕 RGB 视频及双手密集触觉测量数据。
推荐理由:TouchScale 数据集提供统一穿戴设备采集的 500 小时视觉 - 触觉同步数据,显著提升了零样本触觉预测精度与机器人操作成功率。
论文发布 Video Prediction Policy 2(VPP2),一种旨在将视频预测先验转移至动作学习的世界动作模型(WAM)。针对现有模型在开放环境中产生错误运动预测的问题,作者通过大规模操作视频数据集进行事件级预训练以增强泛化性,并将视频模型蒸馏为单步视觉规划器,同时引入混合 Transformer 架构的动作模块以学习隐式逆动力学模型。
推荐理由:作者提出 VPP2,通过事件级预训练与混合 Transformer 架构解决现有世界动作模型在开放环境中的运动预测错误问题。
针对世界动作模型(WAM)高推理延迟限制机器人控制响应的问题,作者提出了 RealtimeWAM 这一无需重新训练的通用框架。该框架通过层间依赖重叠观测处理与预测、在视觉稳定区域缓存特征以及复用 Transformer 残差等策略协调并行执行与自适应计算。
推荐理由:该工作提出无需重新训练的通用框架,通过并行执行与自适应计算显著降低推理延迟,在真实任务中提升成功率。
论文介绍 Juno 框架,利用联合嵌入预测架构(JEPA)构建控制对齐的表征骨干、预测教师及可适应动力学模型。通过动态 CLS 损失转移运动加权补丁动力学,融合当前帧 JEPA 补丁并解耦推理分支以蒸馏未来潜状态用于动作生成。
推荐理由:提出基于动作条件 JEPA 的统一框架,解决预训练与部署中的表征失配问题,在仿真与真机实验中均提升成功率。
该论文提出了一种端到端的自主管道,用于设计和构建定制木制组件。生成式 AI 代理将用户提示转化为初始 3D 几何形状,并通过基于梯度的修复阶段调整组件几何以解决不连续和重叠问题。该方法在 60 个新自然语言输入中实现了 86.7% 的机器人螺丝刀驱动成功率,并在两个 UR5e 机器人上对其中十种结构进行了物理组装演示。
推荐理由:提出端到端自主设计流程,通过可微几何修复显著提升了机器人组装成功率。
该论文研究了针对变形线性物体(如绳索)的动态操控问题,提出在指定终点位置及到达方向的目标设定下,通过单摆动作完成打击任务。作者扩展了 DeformX 仿真器至 DeformX2.0,引入 GPU 加速与气动模型以提升效率;提出 TRACE 方法生成带方向约束的打击数据,并训练条件流匹配策略;最后提出 RECAP 残差校准策略以适配真机参数。
推荐理由:提出 DeformX2.0 仿真器与 TRACE、RECAP 策略,实现变形绳索打击任务从仿真到真机的跨域迁移。
论文提出 TERRA 方法,利用紧凑的时间效应表示和关系对齐机制,学习能从视觉过渡中推断出的可迁移潜在动作代码。该方法通过效果锚定传输(EAT)解决潜在动作在不同初始状态下意义一致性问题,在冻结线性读取器下比 UniVLA 更准确且抗干扰更强。
推荐理由:提出通过时间效应表示与关系对齐学习可迁移潜在动作,在 LIBERO 基准上平均成功率达 93.4%,优于 UniVLA。
针对人形机器人全身运动中的末端执行器精确跟踪难题,该研究提出 ResGAC 控制器,结合几何导纳控制与残差强化学习以补偿未建模动力学并协调运动平衡。实验在 Unitree G1 真机上验证,在四项站立末端跟踪基准测试中均优于 SONIC 等基线;在站立插孔任务中成功率达 90%(SONIC 为 50%),且有效抑制了骨盆运动向期望末端的传播。
推荐理由:该工作提出结合几何导纳控制与残差强化学习的 ResGAC 控制器,在 Unitree G1 真机上验证了优于基线的末端跟踪性能。