OrbiSim:面向具身智能的可微物理引擎世界模型
论文 OrbiSim 提出一种新型机器人仿真范式,将世界模型定义为完全可微的物理引擎,以连接结构化场景资产、神经动力学与下游强化学习。该方法支持从显式状态转换到视觉观测生成的端到端可微性,从而解决传统模拟器难以处理的接触建模、稀疏奖励下的梯度策略优化及直观物理推理等任务。
推荐理由:该工作提出将世界模型作为可微物理引擎,支持端到端梯度优化与接触建模,为机器人策略训练提供新路径。
技术方向
视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。
840 条精选近 30 天 569 条共收录 3,491 条
论文 OrbiSim 提出一种新型机器人仿真范式,将世界模型定义为完全可微的物理引擎,以连接结构化场景资产、神经动力学与下游强化学习。该方法支持从显式状态转换到视觉观测生成的端到端可微性,从而解决传统模拟器难以处理的接触建模、稀疏奖励下的梯度策略优化及直观物理推理等任务。
推荐理由:该工作提出将世界模型作为可微物理引擎,支持端到端梯度优化与接触建模,为机器人策略训练提供新路径。
针对现有强化学习方法难以应对大环境变化导致表达力不足的问题,本文提出一种利用稀疏中间点(via-points)和轨迹导数保持运动学特征的新型高斯过程技能自适应框架。该方法包含优化、行为克隆和强化学习三种适应策略,在抽屉开启、推立方体和杆件操作三个任务中,仿真与硬件实验均优于所有基准,且能保持高运动学相似度和低速度误差。
推荐理由:提出基于高斯过程的技能自适应框架,在仿真与硬件上优于基准。
针对复杂环境中四旋翼同时应对密集静态障碍物和移动障碍物的挑战,本文提出 TransNav 方法。该方法采用基于 patch 的点云编码方案融合局部特征与全局上下文,将感知与导航集成于单一架构并直接预测有限时域的动作序列。
推荐理由:提出基于 Transformer 的端到端导航方法,结合点云编码与无监督学习策略,在静态及动态环境中实现四旋翼避障。
论文提出 Hindsight Inverse JEPA Planning (HIJP) 框架,旨在解决基于世界模型的视觉规划需进行昂贵在线搜索的问题。该方法通过引入目标条件逆模型直接预测动作,并在训练阶段利用回顾性重标记策略塑造视觉表征与动作转换的一致性。
推荐理由:提出 HIJP 框架,通过隐式逆动力学替代在线搜索实现无搜索规划,在四项视觉控制任务中成功率达 86.8% 且速度提升显著。
该研究指出视觉语言模型评估中常将‘提及’等同于‘声称存在’,导致对非断言性描述(如‘供人坐的长椅’)产生误判。作者提出 NAME-Bench 基准,包含五款 VLM 生成的两万五千余条标注数据,区分了具体、幻觉与非断言提及四类标签。实验显示现有检测器将 14% 至 80% 的非断言提及错误标记为幻觉,且在较新模型上通过负样本训练进行修正的难度显著增加。
推荐理由:NAME-Bench 基准揭示当前幻觉检测器将非断言性提及误判为幻觉,且在新模型上修正代价高昂。
该论文研究如何利用异构双臂系统(配备吸盘和平行夹爪)协同完成单一末端执行器难以胜任的复杂操作任务。作者提出了一种感知驱动的规划框架,将执行过程建模为有限时域优化问题,在每一阶段动态决策单臂操作或双臂协作交接,并联合推理抓握可行性、运动约束及跨抓爪兼容性。实验基于双 Franka FR3 平台进行,结果表明该方法显著提升了原本无法通过单抓爪执行的任务的可行性和可靠性。
推荐理由:原文提出了一种针对异构双臂操作的感知驱动规划方法,通过联合优化臂轨迹分配与抓握切换策略,在双 Franka 平台上验证了其在复杂任务中的可行性提升。
Ayush Deshmukh 等人提出了一种结合传感器对齐、触觉校准及新型域随机化的框架,在 Shadow Dexterous Hand Lite 上实现了无需视觉的连续拨珠旋转。物理实验完成单次连续 225 次(112.5 圈)180°旋转,速度约 0.36 转/秒,刷新了该任务的硬件基准并明确了触觉感知的关键区域贡献。
推荐理由:该研究在 Shadow Dexterous Hand Lite 上实现了无需视觉的连续拨珠旋转,验证了触觉校准与仿真域随机化对跨越 Sim-to-Real 鸿沟的有效性。
针对机器人记忆系统仅凭成功率无法验证任务相关事实有效性的问题,本文提出了干预式记忆评估协议(IMEP)。研究在检索接口对比了目标事实替换与事实保留替换的效果,并引入 ChainBench 基准测试历史信息的必要性。实验显示,跨集学习库中特定干预改变了 11.9% 的结果,而完整记忆配置将任务成功率从 39.1% 提升至 74.3%,证实了正确历史信息对决策的支持作用。
推荐理由:提出 IMEP 协议与 ChainBench,证明记忆系统需通过事实特异性干预评估而非仅看成功率。
论文提出了 LAW 框架,通过语义子任务进度将语言推理、动作生成和世界建模统一起来。其混合专家视觉语言模型负责规划剩余子任务并融合世界动作模型的提议,同时异步评估执行状态;世界动作模型利用 Transformer 专家混合架构进行视频与动作联合建模。
推荐理由:该工作提出 LAW 框架,在 RoboTwin 基准上达到 95.56% 成功率并开源 OpenWAM-alpha,展示了语言推理、动作生成与世界建模的统一路径。
该技术报告介绍了 LY-GWM-RoboCasa-Human300 策略,该策略结合了经 Human300 微调的 GR00T-N1.5 动作生成器、动作条件化的图动力学模型以及学习到的二元状态奖励评分器。
推荐理由:该报告提出结合人类动作微调与图动力学模型的预测引导策略,在 RoboCasa 基准上实现了优于历史基线的成功率提升。
针对 VLA 模型在多任务环境中技能整合困难的问题,该研究提出 NestedVLA 框架,利用嵌套超网络根据目标任务合成自适应的动作专家参数,并与冻结的基础 VLA 组合,同时保留特定任务的压缩 VLM 残差。
推荐理由:提出 NestedVLA 框架,通过超网络生成任务自适应参数实现技能合并,在 MetaWorld、ManiSkill 和 CALVIN 基准上表现优于模型合并基线。
针对多臂协同操作需求,本文提出 VLA-Fabric,在保留各臂局部感知与动作所有权的同时,通过策略间显式交互实现协调。研究系统分析了交互发生位置、同伴信息聚合方式及学习机制,并在不同架构中验证了该原则的通用性。在仿真与物理实验中,由三支或四支手臂组成的团队在所有四项物理任务上,全量交互模式相比独立训练策略将成功率提升了 16% 至 40%。
推荐理由:该文提出 VLA-Fabric,通过策略间显式交互提升多臂协作成功率,物理实验显示效果优于独立训练。
该论文从求解器视角定义符号有用性,引入求解器充分符号化概念并提出反例引导的符号发明算法。研究将原理扩展至神经网路参数化的优化目标,证明可从连续优化景观中诱导此类符号。实验表明所得符号在降低求解成本、保持解质量的同时提升了可解释性与可控性,并解释了部分人工定义符号的有效性。
推荐理由:提出求解器充分符号化概念与反例引导算法,在仿真及真实机器人任务中降低求解成本并提升可解释性。
针对低成本被动引导臂缺乏恢复力导致关节空间轨迹不一致的问题,研究团队提出一种包含可调机械离合器和 3D 打印螺旋弹簧的低成本被动关节模块。该模块产生的被动恢复力等效于关节空间的 L2 正则化(即“硬件即正则化”),在缩短完成时间的同时保持运动平滑性。
推荐理由:提出利用低成本被动关节模块作为物理先验,在模仿学习中提升轨迹一致性与下游任务成功率。
针对视觉语言模型在场景暗示但实际不存在的物体问题上易产生幻觉的问题,论文提出 Shift-Reliance Alignment(SRA)指标。该方法通过编辑图像中的线索来测量模型对各线索的依赖程度,结合源域误差与目标域线索误导比例,预测并选择最佳模型。实验显示 SRA 能有效降低在 Objects365 和 OpenImages 上的错误率,且优于仅基于置信度或源域误差的选择方法。
推荐理由:提出基于模型对线索依赖度的新评估指标 SRA,能更准确预测目标域表现并降低幻觉误差。
论文介绍 RAX(Robot Agent eXploration)开源框架,旨在通过在线探索扩展机器人智能体能力。该框架利用通用代码生成智能体编写控制代码,无需动作演示数据或人工设计的动作基元。研究在仿真和真实机器人上验证了其在单臂、双手、灵巧操作及人形系统上的表现,结果显示在未见环境中泛化性能随探索规模提升,且自主学习能力优于现有基线模型。
推荐理由:RAX 框架通过在线探索与代码生成实现无演示数据训练,在仿真与真机上均优于基线模型并涌现出主动感知等能力。
该论文介绍了一种名为市场基后训练(MPT)的框架,旨在解决现有多智能体系统训练中个体能力学习与集体行为组织分离的问题。通过让智能体以出价表达参与意愿并据此分配训练信用,该方法实现了动作策略与自编排行为的联合学习,无需中央协调器。
推荐理由:提出市场基后训练框架,联合学习动作策略与去中心化自编排,在具身制造等任务上验证了群体适应性与鲁棒性提升。
arXiv 论文 LIMBO 提出了一种框架,通过从黑盒状态转移中学习状态 - 动作控制屏障函数,并将其安全结构蒸馏到任务策略中。该方法在冻结基控制器周围对残差动作进行基于剩余的安全证书合成,使 Q-CBF 合成在全控制维度上可行。实验在一个拥有 29 个自由度的类人机器人上进行了躲避球和跨越低障碍物的运动演示,展示了学习到的策略无需在线安全过滤即可直接迁移到硬件。
推荐理由:该框架将安全证书蒸馏至任务策略,使学习到的安全合成可扩展到全身敏捷控制且无需在线安全过滤。
论文介绍 LIBERO-CTRL 六轴基准,通过配对每个初始状态下的单轴条件与匹配的同时发生条件,揭示仅靠聚合成功率无法区分的两种对立结果变化:所有单轴成功但联合失败(涌现失效),以及至少一个单轴失败但联合成功(补偿成功)。研究显示在六种策略和三种严重程度下,最多 29.0% 的匹配初始状态会出现结果变化,复合鲁棒性不能仅由单轴成功率表征。
推荐理由:引入 LIBERO-CTRL 六轴基准,揭示单轴评估无法捕捉的联合扰动失效与补偿成功现象。
arXiv 论文介绍了 VOiLA 框架,旨在解决部分可观测马尔可夫决策过程(POMDP)中的不确定性规划问题。该框架通过条件扩散模型学习任务无关的 POMDP 世界模型,并将采样器蒸馏为紧凑的前馈生成器以集成到向量化在线 POMDP 规划器中。
推荐理由:该研究提出 VOiLA 框架,利用蒸馏后的扩散模型实现 POMDP 在线规划,在仿真数据上实现了物理机器人任务的完美执行。