Stereo-Planner:学习从立体图像到轨迹的规划以实现四旋翼零样本仿真到现实导航
针对现有导航系统依赖专用深度传感器或显式深度重建的问题,本文提出 Stereo-Planner,这是一个端到端的视觉到轨迹框架,能够仅凭立体 RGB 观测实现零样本的仿真到现实(Sim-to-Real)规划。
针对现有导航系统依赖专用深度传感器或显式深度重建的问题,本文提出 Stereo-Planner,这是一个端到端的视觉到轨迹框架,能够仅凭立体 RGB 观测实现零样本的仿真到现实(Sim-to-Real)规划。
针对单目视频演示到人形机器人运动迁移的形态失配问题,本文提出直接动态重定向(DDR)方法。该方法在物理仿真器中利用基于采样的模型预测控制求解器,直接在任务空间追踪人体关键点,无需接触标注或中间几何重定向步骤。
推荐理由:提出直接动态重定向方法,在仿真中实现零样本迁移至不同尺寸实体机器人,并开源代码与数据集。
论文介绍 VDCS 基准与 ACO-MoE 方法,通过混合专家路由修复图像内容以应对天气、噪声等退化。在八个任务中,ACO-MoE 将 DreamerV3 的平均回报从 562 恢复至 730;在机械臂部署中,该方法将运动模糊和暗光下的成功率从最高 10% 提升至 75%-95%。代码与论文为预印本状态。
BehaVerify 是一个开源工具箱,旨在对行为树(BT)及神经符号行为树进行形式化验证。该工具支持使用领域特定语言(DSL)结合线性时序逻辑和计算树逻辑指定规范,并通过高效编码快速验证。它可生成 Python 和 Haskell 实现,已集成 PyTrees 与 ROS,并部署于多个自主机器人系统以验证运行时监控器。本文聚焦工具箱的使用、功能与实现细节。
论文介绍了 Magflow,这是一个完全可微分的 GPU 并行仿真器,专门用于模拟具有六自由度的工业级磁悬浮系统。研究团队利用该工具训练了首个纯基于物理仿真的神经网络控制器,并展示了其能零样本迁移到真实硬件,在 4 kHz 频率下满足硬实时约束,甚至实现了传统手工设计无法支持的拓扑结构控制。
HandUMI 是一种佩戴式手部接口,利用可更换指尖匹配机械手夹爪,配合 Quest/PICO 控制器追踪手部及编码器测量开合度,实现无需机器人的双手演示采集。
该研究团队为 UR5/UR5e 机械臂开发了开源 da Vinci X/Xi 器械模块,通过五电机与电外科中介器实现运动控制及能量激活记录。 bench 测试验证了六次踏板按压的完整事件捕获,ex vivo 演示涵盖脾脏凝固与胆囊离断等任务。光学追踪校准将芬斯特双极钳俯仰增益优化至接近理想值,模块支持腹腔镜手术中的动作、视频及电外科指令时序记录。
英伟达在 CoRL 大会正式发布 GR00T 2 世界动作模型、Isaac Lab 3.0 开源框架以及 Isaac Lab-Arena 0.4 版开发者预览版。
OpenRoIS 是一个由社区驱动的开源中间件,实现了 OMG 标准化的 Robotic Interaction Service (RoIS) Framework 2.0。
论文提出了 Linglong Agent Service (agentsvc),这是一个自托管的 HTTP 服务和可嵌入 Python 运行时,将执行站点作为模型、工具和上下文之外的可配置维度。
该论文综述了利用基础模型的机器人奖励模型(RRM),将其按输出语义分为五类,并指出当前评估器难以区分任务完成度与执行时序的缺口。为此,作者构建了包含 1,117 条闭环真实视频的新基准 RRM-Bench-1K 及开源工具集 RRM-Hub,支持对 27 种现有评估器的统一测试与新方法验证。
本文提出一种开源的低成本测试床,用于测量机器人在无人工重置干预下的实际练习成本(时间、关节磨损及人工注意力)。研究构建了一套包含视觉成功检测与账本记录的硬件系统,记录了每次尝试的详细数据。
推荐理由:作者构建低成本测试床量化机器人练习的隐性成本,提出基于实测收益的任务调度方案并验证其有效性。
该论文提出 EasyNav 架构,通过显式共享导航状态解耦映射、定位、规划与控制模块,实现表示无关的流水线替换。作为开源 ROS 2 框架,其在室内激光感知和室外 GPS+3D LiDAR 多楼层场景的真实机器人实验中,相比 Nav2 将反应延迟从 377ms 降至 33ms(室内)及 8ms(室外),并降低了 CPU 与内存占用。
论文研究在 Fast-WAM 6B 参数世界动作模型上,比较跨周期缓存(C$^3$ache)与减少去噪步数的策略。实验显示,保留两个未缓存步骤可在所有初始状态下保持不低于十步的成功率,且将重规划调用时间从 202ms 降至 92ms。研究指出缓存策略脆弱,覆盖路径比例过高会导致成功率下降,并建议测试复用时应基于部署时的采样器和噪声设置。作者开源了评估工具、日志和检查清单。
MIT韩松团队提出Robot-Use RL方法并公布PEAR后训练引擎,基于Qwen3.8-27B在仿真环境中通过强化学习自主训练机器人操作能力。LIBERO基准测试中任务成功率从1.6%提升至74.4%,接近GPT-6 Astra和GPT-6.1 Sol水平;部署到真实双臂YAM机器人时,任务成功率达60%而基础模型为0%。
推荐理由:MIT韩松团队提出Robot-Use RL方法,基于Qwen3.8在仿真中通过强化学习训练机器人操作能力,无需人工示范数据且具备零样本迁移至真实机器人的能力。
美国卡内基梅隆大学研究人员宣布开源机器人学习框架Eden,由博士生Kashu Yamazaki主导。该框架基于Genesis构建,整合了任务配置、仿真训练与真机部署全流程,内置245个可组合MDP组件及47种机器人模型。
VLAN 是一个新的导航基准数据集,包含 1,000 个场景、20K 条导航轨迹和 160K 关键帧,涵盖多样光照与环境条件。该基准针对足式与轮式智能体(含人形机器人与四足机器人)以及视觉或行动障碍人士提供特定主体的动作与可访问性特征,并将日常障碍物分类为可通过、绕行、高风险和阻挡四类。
推荐理由:VLAN 基准提供千人场景与二十万轨迹数据,支持足式、轮式及残障用户等多主体导航评估。
PoliMop 提出一种利用物理仿真挖掘控制策略技能的运动规划器,通过结合预规划质点路径引导采样,将规划时间缩短最多 63%。该方法在四足、人形及轮式机器人上无需修改底层算法即可实现即插即用,并能自动识别如搭建桥梁等预设环境改造以扩展可达空间。相关代码与视频已公开,论文为 arXiv 预印本状态。
AI 公司 Runway 正式开源其机器人控制模型 Praxis-1,该模型基于视频训练,能预测环境变化并计算机器人动作。材料提供了 Apache 2.0 许可的权重与代码下载入口,报告了其在 RoboLab-120 榜单上的表现及在真实 Franka 机械臂上的任务成功率,同时指出了对特定数据微调的需求及硬件要求。
推荐理由:Runway 开放了基于视频训练的机器人控制模型 Praxis-1,提供 Apache 2.0 许可权重与代码,并报告了在仿真及真实机械臂上的性能数据。
论文评估了跨 13 个模型和 28 种设计的 MLLM 验证器,发现其存在严重的‘一致性偏差’(过度认可代理行为)。作者提出 SGV 方法,通过先生成行为先验再基于此进行推理判断,显著提升了失败检测率和准确率。
推荐理由:提出 SGV 方法缓解 MLLM 验证器的一致性偏差,在 OSWorld 等任务中提升完成率达 20pp。
MPPI-Generic 是一款基于 C++/CUDA 的 GPU 加速随机优化库,提供 Model Predictive Path Integral 等三种控制算法实现。该库允许用户通过 API 自定义动力学模型或代价函数而无需修改核心代码,并已在多种 GPU 上验证了实时计算能力。
针对现有视觉语言动作模型在杂乱环境中依赖隐式推断几何关系导致碰撞的问题,本文提出 MOSAIC 框架,通过辅助语义定位任务预测目标、目的地及障碍物的角色掩码,并结合三维重建深度构建几何 token 注入动作专家。
推荐理由:该框架通过引入几何与障碍物感知模块,在杂乱场景中将 VLA 模型的成功率提升 5.1%,相关代码与数据集将在接受后开源。
论文介绍了 ARTS 平台,这是一个完全由可购买部件构建的开源三臂系统,用于微创手术自主性研究。硬件包含两个持腕式 da Vinci 器械的 UR5e 机械臂、一个持立体内窥镜的 UR5 机械臂以及独立于软件的硬件停止功能。
Runway AI Inc. 昨日发布了其世界动作模型 Praxis-1,该模型现以 Apache 2.0 开源权重形式向开发者开放,支持商业使用。Praxis-1 是一个拥有 27B 参数的混合专家扩散 Transformer,旨在预测视频与动作,基于 Runway 的视频基础模型构建,强调先理解物理世界再学习行动。
推荐理由:Runway 发布 Praxis-1 世界动作模型,提供 Apache 2.0 权重与推理代码,支持多形态机器人及 NVIDIA 硬件部署。
UC Berkeley 和 NVIDIA 联合发布开源工具 RoboSimStudio,旨在让 AI 智能体(Agents)在无大量训练数据的情况下编写、模拟并优化机器人程序。
在CoRL 2026期间,RoboSense速腾聚创宣布与BitRobot达成战略合作,双方整合三维感知硬件与分布式采集资源以推动物理AI数据基础设施建设。作为合作成果,BitRobot发布了涵盖餐厅厨房、汽车维修等真实作业场景的RoboCap LiDAR-100数据集,数据采集总规模为100小时。
英伟达在 CoRL 大会上发布新一代世界动作模型 GR00T 2,该模型能同时预测未来画面与机器人动作,支持跨本体技能迁移(如从人类示范或手持设备迁移至机械臂)。
该论文描述了团队针对 2026 BEHAVIOR 挑战赛提出的解决方案,核心为基于$ ext{\pi}_{0.5}$构建的单一视觉语言动作(VLA)模型,在 OmniGibson 仿真器上完成百项长周期家务任务。
该研究针对世界动作模型(WAMs)需注入低维机器人信号的难题,提出 MetaWAM 方法,将姿态、动作等信号折叠进单一频域通道并通过逆 DCT 提升,无需增加模块即可对齐预训练视频扩散模型的先验。在 RoboCasa 基准上成功率达 68.9%,推理延迟降低 39%;在三项真实 Franka 任务中成功率为 85.0%。代码与模型已公开。
推荐理由:提出 MetaWAM 统一接口,将机器人信号折叠进单一频域通道,无需额外模块即可对齐预训练视频扩散模型的先验分布。
Maze Runner 是一个开源的自主导航栈,旨在解决稀疏重复几何下的定位、狭窄走廊规划及估计或地图错误时的安全控制问题。该栈在 Gazebo 仿真环境中驱动 Husarion ROSbot XL(配备 2D LiDAR),通过 RANSAC 和总体最小二乘法从扫描中提取带不确定性的墙体线,并分别用于基于地图的扩展卡尔曼滤波定位和在线构建地图的 EKF SLAM。
推荐理由:该工作提出了基于线特征定位与控制屏障函数的自主迷宫导航栈,在仿真中实现了厘米级定位与实时规划控制。
英伟达在CoRL 2026会议推出开源世界—动作模型GR00T 2系列,包含主打泛化能力的GR00T 2和强调速度的Turbo版本。该模型基于40万小时人类视频训练,支持跨本体迁移、少样本适应及视觉引导规划,在多项灵巧操作与长程任务中取得高成功率。英伟达宣布将全栈开源模型权重、仿真流程SimFoundry、智能体框架ASPIRE及相关硬件设计图纸,旨在降低机器人开发门槛并推动技术落地。
NVIDIA 将专为 AI 智能体设计的 Agent Substrate 捐赠给开源社区,解决传统 Kubernetes 因单会话 Pod 导致的内存浪费及跨轮次冷启动延迟问题。该方案通过保留非活跃会话状态并消除 RL 后训练中的调度瓶颈,显著降低智能体等待提示或工具响应时的资源开销与重启耗时。
蚂蚁灵波开源触觉预训练基础模型 LingBot-Touch 及其轻量版 Tiny,旨在解决原始触觉信号导致动作模型性能下降的问题。该模型将磁、视、压阻三类传感器数据统一编码为触觉 Token,支持跨硬件与传感器布局的泛化。
推荐理由:蚂蚁灵波开源触觉预训练基础模型 LingBot-Touch,通过统一编码解决多传感器数据异构难题,显著提升机器人精细操作成功率。
蚂蚁灵波科技于11月10日开源触觉基础模型LingBot-Touch,基于近5000小时真实数据预训练,覆盖磁、视、压阻三类传感原理并将信号转化为统一触觉表征。
同一新闻,精选展示《蚂蚁灵波开源触觉预训练基础模型 LingBot-Touch》
该研究提出 AgenticRobotics 架构,利用大语言模型控制器驱动一次性工作流来管理机器人策略的训练与改进过程。系统核心在于将机器人策略和硬件视为需质量度量、记录及版本失效管理的工具,以应对训练管道和数据收集的频繁失败。实验显示,在单一线程上,该机制实现了极低的人工误晋升率(0.001),具备任意时刻停止下的有效决策能力,并能通过签名验证器检测所有类型的工件篡改行为。
RoverDevKit 是专为月球微型漫游车概念设计打造的开源工具包,其评估器耦合了轮土模型与质量、太阳能及热生存等底层模型。该工具能在单核笔记本上于 1 分钟内完成 3000 次任务评估,用于绘制距离、质量与坡度能力的权衡曲线。在 mare 和 polar 等任务中,能量存储或坡面牵引力成为主要限制因素,且轮土模型复现了独立数据集的实测数据。
针对视觉语言动作模型缺乏带标注动作数据的问题,该研究提出 ALAM 模型,从无动作视频中提取物理世界变化先验。通过帧三元组学习受重建约束且符合组合与可逆一致性的潜在转换,构建局部加性转换空间。
推荐理由:该工作提出代数一致潜在动作模型,利用无标签视频构建结构化先验,显著提升 VLA 策略在仿真及真实任务中的成功率。
针对现有大语言模型在主动发起对话时缺乏情境感知的问题,本文提出了一套联合表征感知、情境和交互线索的情境变量架构,并构建了覆盖多样化日常场景的主动式对话开启语料数据集(CCO)。通过利用该数据集微调小语言模型(SLMs),研究展示了显式的情境结构化与针对性数据策展能显著提升对话发起的质量与时机恰当性。
推荐理由:提出情境变量架构与专用数据集,微调小模型显著改善主动对话发起的质量与时机。
论文 SWAM 针对世界动作模型(WAM)中动作学习可能损害语言 - 视频对齐的问题,系统研究了监督设计与架构影响。研究混合使用第一人称视频与 UMI 演示数据,在固定预算下提升了控制泛化能力。
该论文针对 VLA 模型需为每个下游任务和机器人微调的问题,以 SO-101 机械臂移动国际象棋国王为例进行研究。研究发现,利用随机脚本专家生成的仿真演示进行预训练能显著降低对真实数据的依赖;同时指出学习率冷却对检查点比较至关重要,而验证损失和行动误差不可靠。作者开源了仿真器、专家策略及真实演示数据。