ClimbLab MATLAB 仿真平台开源:支持任意地形与刚体动力学的足式攀爬机器人设计工具
ClimbLab 是一个面向足式攀爬机器人的开源 MATLAB 仿真与分析平台,支持将任意点云设为地形并模拟行走与攀爬。该平台采用刚体动力学引擎,允许用户设定坡度、重力及地面刚度等变量进行系统设计与分析。作者版本为 CLAWAR 2021 会议论文手稿,arXiv 预印本 arXiv:2610.09315 已发布但尚未完成同行评审。
ClimbLab 是一个面向足式攀爬机器人的开源 MATLAB 仿真与分析平台,支持将任意点云设为地形并模拟行走与攀爬。该平台采用刚体动力学引擎,允许用户设定坡度、重力及地面刚度等变量进行系统设计与分析。作者版本为 CLAWAR 2021 会议论文手稿,arXiv 预印本 arXiv:2610.09315 已发布但尚未完成同行评审。
该研究考察了双智能体在离散 2D 模拟器与含真实物理的 3D 模拟器间,协同进化通信机制的功能保留情况。结果显示成功率随时间预算线性增长,社会线索主要作为干扰辅助而非导航引导,且处理顺序控制排除了物理引擎伪影。论文为预印本状态,探讨了影响迁移后性能差距的因素。
为了解决仿真策略迁移至现实世界时因视觉差异导致的失败问题,研究团队提出了 RoboRender 框架。该框架利用深度图、语言指令和机器人 RGB 掩码视频作为条件,训练出能生成逼真 RGB 视频的模型,同时保留几何结构与动作标签。在抓取与移动操作等真实任务中,基于该数据训练的零样本策略平均成功率为 71%,相比原始渲染提升约 7.1 倍,相比传统域随机化提升约 3.6 倍。
论文提出了 StableGrasp 方法,这是一个基于可微仿真优化的框架,旨在解决仅凭 RGB 图像重建物理稳定人手抓握的难题。该方法将视觉手姿与决定抓取力的控制目标显式分离,通过在可微仿真器中最小化抓取的动能来联合优化几何与控制,同时正则化以保持视觉一致性和几何合理性。
推荐理由:提出基于可微仿真的优化框架,将视觉手姿与力学控制目标解耦,显著提升了单图重建握持的物理稳定性。
本文介绍了首个用于开放非受限表面液滴自主导航的机器人平台,利用两轴倾斜板和覆盖硅油薄膜驱动液滴,结合顶置摄像头实时反馈。该策略仅通过 50 至 150 次物理交互训练完成,无需仿真或解析模型,并展现出对未见几何结构的零样本迁移能力、自发现振荡解粘策略以及全流程小于 90 分钟的训练效率。材料为预印本论文,已接受于 IROS 2026 研讨会展示。
论文介绍 RobotWorld 这一具有挑战性的仿真测试床,旨在探究通用多模态代理的能力如何延伸至物理世界。该基准涵盖操作、移动操作、运动控制、驾驶及空中控制等 84 个任务,具备明确的交互预算和可执行的成功检查。
Noitom Robotics 发布了 HiPHI,这是一个包含 617.5 小时全身人体运动和 245.7 小时同步物体轨迹及网格的人机物交互动作捕捉数据集。
HARL-A 是一个基于 IsaacLab 的开源框架,旨在解决机器人对抗多智能体强化学习中缺乏支持异构形态的高保真物理仿真基础设施的问题。该框架扩展了 HARL 算法库与 IsaacLab,提供了模块化软件架构以降低定义新环境的工程开销,并包含 Sumo、Soccer 和 3D Galaga 三个涵盖推挤、球技竞技与追逐/逃避的基准环境。
论文介绍 PhysCaP 系统,旨在解决视觉语言动作策略依赖被动观察、无法推断物体潜在物理属性的问题。该系统引入无需训练的物理属性提取模块,利用机器人本体感觉估计物体质量与刚度;采用包含规划器与优先级排序器的多智能体设计,实现高效的目标探索。作者在 LIBERO 仿真平台及三个真实桌面操作任务上评估了该方法,结果显示其在隐藏物理属性场景下性能优于被动或盲目交互基线,且交互次数更少、执行时间更短。
论文提出 Guided Action Flow (GAF) 方法,在冻结的视觉语言动作(VLA)策略基础上学习紧凑的动作价值评论家,利用其梯度引导反向时间流采样以生成动作。
针对物体重建与检测任务中现有采样式路径规划计算昂贵的痛点,提出一种通过计算最具信息量的焦点点并维持其在相机视野内的全身控制方案。该方法无需额外路径规划器即可将重建信息融入可见性约束。
该研究将任务感知认证构建为运行时保障契约,区分篡改、证据陈旧与决策延迟三种拒绝原因。基于硬件在环车辆 - 基础设施平台评估显示,安全盲模型接纳整个操作空间,而硬件知情模型仅接纳四分之三且拒绝点均因新鲜度不足。认证间隔调整成本约等于延迟分布五倍扩展,该参数可直接配置以适配物理状态预算。
该研究演示了基于 ROS 2 耦合 NVIDIA Isaac Sim 与 NVIDIA Sionna 的实时闭环仿真框架,利用 GPU 光追在~16ms(约 60 Hz)刷新覆盖图。
该论文比较了五种不同保真度的扰动场(从无风、离散余弦阵风到大气边界层大涡模拟)对强化学习四旋翼控制器鲁棒性的影响。研究发现,在悬停任务中,最廉价的离散阵风域随机化训练在所有测试条件下均排名第一,且几何控制器能以零坠毁率包围学习到的策略。机制诊断表明控制权限而非风场真实性限制了鲁棒性,因此风场保真度投资应随平台对风的敏感度进行缩放。
针对预训练机器人策略在部署时面对分布外条件性能下降的问题,该研究提出 PEARS 框架,利用视觉语言模型编码的物理先验诊断失败原因并更新接触力边界,同时通过触觉条件的扩散引导调整冻结策略的潜在噪声以修正运动与接触时序错误。
推荐理由:该工作提出结合物理先验推理与扩散引导的策略适应框架,在触觉操作任务中显著降低试错成本并提升成功率。
RenderBench 是一个包含 12 个重建真实世界场景的基准数据集,涵盖大规模室内环境和第一人称视角,包含静态与动态设置。该基准由视觉几何、神经重建和辅助 3D 创作构建,每个场景被分解为静态物体和动态演员,并注册到捕获相机上。
针对强磁场导致传感器失效及机械力矩失稳问题,该研究提出基于 MuJoCo 自定义插件的逆场估计框架与 Magnet-Aware MPC/WBC 架构。实验显示该方法将可承受磁扰动的最大力空间阈值提升 2.5 倍、扭矩空间提升 1.6-2 倍,使机器人作业区域扩大 29.34%(其中 10.84% 为原系统会立即崩溃的区域)。
该研究提出基于 Cosserat 杆模拟器和粒子滤波器的信念状态世界模型,旨在稀疏 X 射线采集间维持内血管导管导航。在合成平面血管幻象中,该模型以连续速率十五分之一获取观测时,尖端追踪均方根误差为 1.30 mm,接触风险估计的 AUROC 达 0.68。这些结果仅在简化仿真环境中成立,旨在证明校准后的信念状态是稀疏成像世界模型的关键属性,而非临床就绪演示。
该研究利用 Michigan Mcity 测试场与仿真环境,验证了针对开源 Level 4 自动驾驶系统的第三方行为安全评估框架。结果显示该系统仅拥有 14 项行为能力中的 6 项,每英里事故率为 3.01x10^-3,约为人类驾驶员的 1,000 倍并暴露未知不安全场景。这些发现强调了在大规模公共部署前进行此类独立安全评估以改进性能的必要性。
论文提出了 MIM-VLA 架构,通过编码夹爪电流、位置、速度等信号生成 128 维交互 Token,仅微调 SmolVLA 的夹爪动作路径即可显式表征接触后的物理响应。
针对仅依赖速度的多旋翼气动功率模型无法表征加速效应的问题,该研究提出了一套嵌套动力模型序列。该方法通过引入可逆动能变化率、扭矩相关机电耗散及速度比例耗散项,在电机驱动螺旋桨单元上实现了从气动损耗到电损耗的精确归因与预测验证。结果表明,仅靠可逆动能变化率不足以实现准确动态功率预测,而加入平方扭矩比例耗散项是提升精度的主要途径,为多旋翼系统动力模型开发提供了可复用的实验验证基础。
论文介绍 ViDAL,这是一种将连续动作潜在变量锚定在未来场景视觉动态中的表示方法。通过训练动作变分自编码器(Action VAE)重构动作片段并使其潜在空间与未来动态对齐,该方法可作为插件接口兼容多种 VLA 架构,并支持可选的未来视频预测能力。
论文介绍 Self-supervised Adaptation from Leftover Trajectories (SALT) 方法,利用未执行的动作片段作为自监督信号进行测试时自适应,无需标注或专家演示即可在视觉干扰下保持策略稳定。实验显示该方法在 LIBERO-10 基准上显著提升了 SmolVLA 和 GR00T N1.7 的成功率,并在真实机器人实验中提高了任务进度。
针对高维动力学与非凸环境下的受限运动规划挑战,该方法将主动约束几何转化为可执行的去噪算子,并通过自适应扩散调度解耦生成传输与反向随机性。实验表明,其在四足和双足机器人的离散落脚点选择及连续姿态规划任务中,相比现有模型基扩散方法取得了更高的成功率、更少的违规次数以及更好的执行兼容性。
该论文针对精密装配中位姿误差导致观测与动作坐标系偏移且无法仅凭本体感知识别的问题,提出在训练阶段引入特权教师或重标演示数据以补偿缺失信息的方法。实验显示,该方法在 FORGE 基准测试中,面对 0 至 5 毫米的位姿噪声时成功率维持在 92% 至 99%,显著优于其他基线方法;在 Franka 机器人零样本部署下,面对 5 毫米噪声时的成功率为 83.3%,而最强状态基线仅为 34.4%。
推荐理由:针对精密装配中的位姿误差问题,提出利用特权噪声蒸馏提升视觉 - 力控策略鲁棒性的方法。
针对现有共设计方法仅凭单一任务奖励数值难以区分机器人本体对控制器依赖程度的问题,本文提出通过限制控制器复杂度来测量本体的固有表现力。研究在三个 EvoGym 运动任务上验证了该指标的可信度与解释性,发现几何描述符无法预测其方差,且该能力仅在声明的特定控制器家族下可被解读。
推荐理由:提出用控制器限制协议评估机器人本体能力,发现任务奖励无法区分依赖控制器的不同形态。
该论文提出了一种从非分割点云中学习抓取位置与姿态的策略,运行于拖车挂载的液压林业起重机上。研究在仿真中实现了 98% 的原木堆清理成功率,并通过行为克隆结合强化学习的策略提升了负载稳定性。实地试验显示,相比几何启发式方法,学习到的策略能处理包含存储架导轨和立柱的未过滤点云,完成度更高;但仿真的稳定性增益并未完全迁移到真实测试台。
PhysLDM 是首个针对体形可变形动力学的潜空间自编码器与扩散范式。该方法通过整体时空 VAE 避免标准压缩的阶梯伪影,在米级场景中实现约 2.48 毫米的重建精度和高达 78 倍的 Token 压缩率。
推荐理由:PhysLDM 提出首个基于潜空间扩散的高保真体形变形仿真范式,在米级场景中实现约 2.48 毫米重建精度,并证明扩散模型比确定性回归更适合处理混沌动力学。
本文研究如何在世界模型的潜在空间中实现鲁棒决策。针对传统显式动力学难以定义潜在空间扰动的挑战,作者提出将扰动视为对已学习潜动力学的修正,通过结合感知动力学相似性的指标与分布外检测来构建合理的潜在动态集合,并利用共形预测校准不确定性集。
论文提出 GaugeBench 基准,验证了固定机制下仅改变物理等价的描述(如关节轴方向)会导致 MetaMorph 等策略性能从 4030.6 骤降至 51.6。研究发现轴反转是主要破坏因素,而跨形态评估需同时测试机制与表示鲁棒性;通过跨等价约定训练可将轴反转下的保留回报率从 3.6% 提升至 80.6%。
推荐理由:该研究通过 GaugeBench 揭示了机器人描述变更对策略鲁棒性的毁灭性影响,并提出了跨形态评估与训练方案。
针对安全关键设施中 RGB 相机无法检测的辐射或高温风险,作者提出无需重新训练即可复用的 Physics-Guided Visual Prompting(PG-VP)模块。
推荐理由:提出无需重训的视觉提示模块,利用虚拟障碍物引导 VLA 模型规避辐射与高温风险。
针对人形机器人导航中高程图难以识别低矮障碍物(如倒下的瓶子)且运动策略易产生偏差的问题,作者提出了一种结合语义感知的移动与执行感知的导航新基准。该工作构建了闭环的视觉语言导航加移动控制框架以修正状态失配,并在仿真环境中评估了导航性能,同时在宇树 G1 人形机器人上验证了移动策略的有效性。结果表明,引入语义输入能减少与高程图表征不佳障碍物的接触,而抗偏差机制显著提升了导航成功率。
针对场景基于模型预测控制对分布失配敏感的问题,该方法为受切换动态模式约束的障碍物构建置信集,将选定采样分布的安全证书转移至置信集中所有概率律。研究利用 Wasserstein 几何正则化概率重分配并引入碰撞风险代理偏向危险模式采样,明确量化了分布失配所需的额外收紧及组合保守性。该预印本论文(arXiv:2610.07277)聚焦于机器人控制与系统理论中的不确定性处理机制。
针对可变形物体操作中的空间邻域误差累积及场景适配问题,论文提出 AIM 自适应交互建模框架。该框架利用运动历史与几何信息动态调整粒子关系,并通过几何条件化的全局通信协调整体响应。
推荐理由:提出 AIM 框架,通过局部全局交互建模提升软体仿真精度与跨场景迁移能力。
Physical Twins 提出一种改进的 Phantom 装置,作为机器人学习的物理孪生体以解决人机物理实验的安全与重复性问题。该设备复刻肩关节球窝运动及肩胛骨/前后伸动作,支持 Franka Panda 机械臂在 ADLs 和 pHRI 任务中感知极限并进行交互测试。
针对单一 VLA 模型在不同任务状态和环境下的性能局限,本文提出了 SWAP 框架,将策略路由建模为离线强化学习问题以动态选择最优策略。该方法在真实世界的 DROID 操作任务和 LIBERO 仿真实验中均优于固定策略及基线路由方法,真实任务成功率绝对提升最高达 33%,同时减少了成功轨迹中的机器人动作步长。
推荐理由:该工作提出动态组合多个 VLA 策略的框架,在真实操作任务中成功率提升最高达 33%。
该方法提出一种结合多图像优化与可解释性引导的进化算法,在 Gazebo 仿真中实现 70.0% 成功率并验证了 LeoRover 物理机器人的故障迁移。相比无引导搜索(53.85%),其超体积提升显著且仿真失败时间与物理呈现强正相关(0.617)。研究证实仿真虽能优先识别可迁移故障,但物理验证对发现真实世界特有失效仍不可或缺。
针对现有视频世界模型视觉逼真但物理不一致的问题,该研究提出 World Models' Last Exam in Physics 基准,涵盖力学、光学等四大类共 40 个受控任务。实验显示八款生成模型在 1280 个视频中最佳得分仅 57.76/100,且存在显著差异。该测量型评测无需参考视频即可解释物理关系,为诊断不一致性提供了可验证依据。
EmbodiedSmith 是一个用于可扩展具身数据生成的框架,通过递归自我改进(RSI)循环统一了资产、场景和任务生成。其核心代理细化机制使场景生成都能预判下游任务需求,同时任务生成指导针对性场景编辑,实现两者迭代优化以提升长程任务成功率。
OpenCV 将于 2026 年 10 月 8 日周四上午 9 点(太平洋时间)举办名为"OpenCV Live! 228"的直播,主题聚焦构建从 OpenCV 到 NVIDIA Isaac Sim 的物理 AI 管线。NVIDIA Isaac Sim 作为开源参考框架,支持在基于物理的虚拟环境中进行机器人仿真、测试及合成数据生成,并能摄入 CAD、URDF 或真实世界捕获等多源数据。