Spatial-UMI-Dream:基于度量几何扩展世界动作模型以支持 UMI 灵巧操作
该论文提出 Spatial-UMI-Dream,这是一个 5B 参数的空间世界动作模型(WAM),在 605 小时 RGB-D UMI 数据上通过两阶段训练预训练,旨在联合预测未来 RGB、鱼眼对齐的度量深度及动作。
该论文提出 Spatial-UMI-Dream,这是一个 5B 参数的空间世界动作模型(WAM),在 605 小时 RGB-D UMI 数据上通过两阶段训练预训练,旨在联合预测未来 RGB、鱼眼对齐的度量深度及动作。
光轮智能与宇树科技近日达成合作,结合光轮 SimFoundry 仿真底座、RoboFinals 评测平台及 RoboStack 部署反馈工具,围绕模型训练、能力验证和真实场景应用展开协同。双方将针对宇树机器人不同配置探索数据生产与训练机制,建立“部署—反馈—训练”持续迭代机制,推动具身智能规模化落地。
开普勒宣布采用NVIDIA物理AI全栈平台,将Isaac Lab、GR00T和Cosmos等技术与自身工业机器人硬件及真实数据结合,推动具身智能从模型训练走向真实工业环境验证与产业化。在部署方面,依托Omniverse构建数字孪生,利用Jetson Thor实现端侧感知推理与控制,并采用GPU平台统一AI训练基础设施。
论文介绍 Warp 方法,利用上下文条件化的单调双三次样条对冻结基策略的样本进行紧凑变换,在保持维度排序的同时实现非线性重塑。研究涵盖 ManiSkill 四项任务及物理 SO101 销钉插入实验,结果显示该方法在演化策略优化下恢复能力最强,且在限制交互次数的强化学习流程中,相比强随机残差方法将成功周期时间中位数减少约 30%。
针对单无人艇感知受视距、视野和遮挡限制的问题,作者构建了基于 Unreal Engine 5 和 Project AirSim 的海洋仿真与数据生成平台 MMUSV-Sim。
针对高质量遥操作数据集收集成本高且硬任务方向性不对称的问题,本文提出一种通过时间反转易任务来辅助硬策略学习的框架。该方法包含闭环数据采集、分层数据清洗(利用运动学先验和评论家引导的优势过滤)以及迭代策略学习三个核心组件。在两个仿真基准和真实机器人实验中,该方法在不依赖大量硬任务遥操作的情况下,相比基于反转和强化学习的基线方法,显著提升了复杂高精度操作任务的成功率并提高了训练稳定性。
推荐理由:提出利用逆向易任务轨迹作为监督信号,通过闭环采集与分层清洗降低硬任务遥操作成本。
AutoDex 是一种无需持续人工操作的灵巧抓取数据采集系统。该系统利用生成的抓取候选方案进行规划与执行,通过多视角物体跟踪处理手物遮挡下的标注,并利用残差扭矩碰撞监测及姿态导向复位实现闭环运行。
针对扩散基视觉语言动作模型存在的虚假视觉依赖和随机动作生成问题,作者提出无需训练的 Selected Diffusion Noise 方法。该方法将扩散噪声作为可控自由度,先利用反事实负样本集过滤候选动作块,再基于 JerkRMS 选择运动学最稳定的块。实验显示在三个 VLA 策略上,仿真与真实环境中的性能分别提升 8-10% 和 18.33%,有效改善了落地可靠性。
EgoGen 是一种新的合成数据生成器,旨在解决第一人称视角(egocentric)感知任务中模拟自然人类运动以获取真实 3D 世界表征的挑战。该模型利用虚拟人物的第一人称视觉输入直接感知环境,结合避障动作基元和两阶段强化学习实现感知与运动的闭环耦合,无需预定义全局路径且适用于动态环境。
该论文提出了 HALO 系统,利用程序化生成的千个虚拟家庭合成视觉 - 语言 - 动作数据以解决人形机器人训练的数据瓶颈。HALO 习得了坐椅子、导航至命名物体、侧身过门等技能,并能编排这些技能完成复合长周期任务。系统在从未见过真实家居的训练下实现零样本迁移,在六个未建图的真实环境中进行了 360 次试验,成功率为 91%。代码与视频已公开。
推荐理由:HALO 系统通过程序化生成合成数据实现零样本迁移,在六个未建图真实环境中达到 91% 成功率。
针对 JEPA 风格世界模型中静态背景干扰导致规划失败的问题,作者提出运动引导对比正则化方法。该方法利用光流相似度构建软对比目标,结合潜在预测与 SIGReg,鼓励表征保留同一集内的状态区分度并抑制静态内容影响。在 OGBench-Cube 随机化背景下,规划成功率从 52% 提升至 78%,LIBERO-Object 任务从 14% 提升至 54%,并在四个其他视觉控制基准上保持相当性能。
该论文提出 VABAR(Variational Automation Benchmark for Agentic Robotics),旨在评估代理机器人在物体形状与姿态变化下的可靠操作能力。
论文指出当前扩散模型缺乏维持世界状态和进行事件后果推理的机制,提出 Out-of-Sight Causal Evolution 新任务。作者构建了 EvoWorld 框架,利用视觉语言模型作为“世界大脑”维护演化账户并推理状态转换,配合分段自回归渲染器实现视觉呈现。
该论文提出一种由规划器条件化的空地辅助方法,通过评估地图信息的不确定性对地面移动基线规划(MPPI)的影响来决定何时请求空中协助。当导航性能下降时,系统会在解析后的地图假设下评分相同规划轨迹,选择改进最大的地图层并请求对应的空中测量,融合后重新规划。
推荐理由:提出基于不确定性的空地协同导航方法,在仿真与实地实验中显著降低无人机飞行时间并提升地面车辆到达率。
论文提出 TwinBridge 框架,通过结合 3D Gaussian splatting 与物理仿真构建数字孪生,为现实世界的在线强化学习提供策略初始化及稠密视觉奖励。该框架将基于仿真的监督蒸馏为视觉奖励模型,在真实交互中结合执行历史计算稠密奖励以优化人机协作下的策略。实验显示,该方法在五项实验室操作任务上实现了 98% 的平均自主成功率,且每任务仅需最多 25 分钟的真实世界交互时间。
推荐理由:该框架利用数字孪生提供策略初始化与稠密视觉奖励,在五项实验室任务中实现 98% 自主成功率,仅需每任务最多 25 分钟真实交互。
Online Adaptation to Latent Physical Properties for Learning from Demonstration 方法通过在线更新物理属性潜变量,使模仿策略能根据交互调整操作动作。真实与仿真实验显示该方法提升任务成功率,但在未见质心位置时仿真成功率仍约 30%。论文已接受 IEEE/SICE SII 2027 会议,代码与数据待公开。
TouchéWorld 是一个将手势驱动交互整合进相机控制视频世界模型的框架。给定初始图像和场景描述提示词,该模型基于时间对齐的相机和手部控制生成视频。研究团队通过标注补全、一致性过滤和时间对齐构建了异构第一人称视频的联合相机与手部训练数据,并在预训练的相机控制世界模型基础上,结合空间手部骨架条件与数值手部运动特征进行参数高效适配。
推荐理由:该报告提出 TouchéWorld 框架,将手势驱动交互整合进相机控制的视频世界模型中。
Otobong Jerome 等人研究了最优快速探索随机树(RRT*)在三角形网格地形上的适用性。研究发现原始 RRT*因零体积特性无法运行;简单的 Mesh RRT*版本虽能运行但最小化错误目标,导致成本偏差。
针对现有全景锐化模型在未见传感器上泛化能力不足的问题,本文提出 ReTailor 框架。该方法仅通过轻量级残差模块在自监督、物理感知约束下快速优化,修正跨传感器差异而不修改已学习的主网络融合先验。
针对稀疏海洋观测场景,研究提出一种多机器人闭环自适应采样框架,利用单一学习到的生成式海洋模型完成预报、不确定性估计、规划及数据同化。该方法在潜在空间构建集合预报并解码至物理状态,结合可达性约束选择采样点,实验表明其 A-或 D-最优策略优于静态与随机基线,同时揭示了模型不确定性与预报误差的偏差问题。
推荐理由:提出闭环自适应采样框架,利用生成式海洋模型进行预测与不确定性估计,多机器人策略优于静态基线。
论文提出了 TRUST-Stereo 方法,通过不确定性引导残差搜索模块(UGRSM)修正粗到细立体匹配中的误差传播问题,并引入两阶段师生知识蒸馏策略将大基础模型的单目表征迁移至轻量骨干网络。
该论文提出一种无需预定义接触序列的接触隐式全身优化框架,用于规划类人机器人在复杂参数化地形上的动态运动。通过引入新颖的接触约束和地面几何近似模型,将适用范围从平坦表面扩展至任意光滑曲面。
ELA 是一种针对机器人模仿学习的新框架,旨在解决动作标注数据稀缺的问题。该方法联合训练潜在动作模型、潜在动作策略和动作解码器,能够从丰富的无动作标签视频演示中学习,并仅需少量带动作标签的机器人演示即可实现下游控制。实验表明,该框架在仿真和真实世界的操作任务中均优于现有的潜在动作基线方法,且通过轻量级 4M 参数动作解码器与现有模仿学习方法无缝集成,无需修改策略架构或训练目标。
推荐理由:ELA 框架联合优化潜在动作表示与解码,仅需少量标有动作的演示即可利用海量视频数据提升策略性能。
据北京市市场监督管理局公示,中国石油集团昆仑制造有限公司将与宇树科技股份有限公司等经营者新设合营企业。该合营企业拟从事工业具身智能机器人解决方案业务,交易后昆仑制造及其一致行动人持有 60% 股份,宇树科技、泛界智能各自持有 20% 股份。
论文提出了 Kierston 城市级仿真引擎和 KierstonBench 基准,模拟了约 12.5 万居民的日常活动及通信、金融等记录。该基准包含 32 个任务家族,涵盖记录关联、事件重建及欺骗性账户评估。
论文提出了 ToolSpace 框架,旨在解决现有 MCP 环境合成方法数据为中心、导致工具接口不匹配及任务跨度不足的问题。该方法从真实 MCP 服务和开放智能体语料库的执行轨迹中,利用确定性规则挖掘数据、状态和重试依赖,而非依赖大模型判断。
推荐理由:该工作提出以工具为中心的合成框架,通过挖掘真实执行轨迹构建环境图,显著提升了长程任务中多模态模型的评测难度与得分。
PyRUA-DataFarm 利用 LLM Agent 接收任务请求与一次校准数据,在仿真中自动重建场景、专家控制器及成功判定器,并通过视频模型渲染多视角合成视频。
推荐理由:提出用 LLM Agent 自动构建仿真环境与视频渲染,生成低成本且真实可用的机器人训练数据。
论文提出 Route Anything 统一框架,通过构建涵盖语言、视觉、视频、语音及机器人操作的跨模态基准矩阵(含 37.4 万次运行数据),研究了在质量与成本权衡下的最优路由机制。实验显示,基于输入的 oracle 路由比最佳固定候选者提升 5.4 分,学习到的路由器进一步提升性能并减少 24% 的策略时间,平均效率提升 8.82 倍。
推荐理由:构建了跨模态任务路由框架,证明动态策略选择比固定候选者更优且能显著降低计算成本。
该论文研究了将去中心化协调代码部署到桌面、空中和人形移动操作器三种不同物理平台时的表现差异。研究发现,尽管底层算法可靠执行,但物理载体显著改变了可见运动的时间尺度和轨迹几何形状,导致超过三倍的执行时间扭曲和轨迹重塑。
针对无线信道下训练与部署数据间的域偏移问题,该方法结合类对抗对齐与伪标签监督对比学习,在无需推理时额外网络的情况下提升目标域准确率。实验显示,其在 SVHN 至 MNIST 任务(AWGN/Rayleigh 信道)中达到 10 dB CSNR 下的 98.15% 精度,且已公开 arXiv 预印本及代码。
arXiv 预印本论文提出一种从人类演示学习灵巧操作的框架,核心在于提取演示中的接触结构而非关节运动。该方法通过模拟 MANO 手模型恢复接触力,利用独立于手部形态的接触锚定重定向技术将数据迁移至不同机械手,并采用残差强化学习策略修复动力学可行性。
推荐理由:该工作提出无需真实机器人训练数据的三阶段流程,利用接触结构锚定将人类演示迁移至不同形态的机械手并恢复物理一致性。
该研究针对几何复杂操作难以产生策略的问题,提出一种 GPU 加速方法,在数千个并行仿真实例的主动 rollout 中将场景重建为 surfel 集合。这使得策略能基于传感器导出的几何而非手工指定几何运行。
针对现有 VLA 或世界动作模型在理想条件下成功率接近 100% 但缺乏真实世界鲁棒性的问题,作者提出了 LIBERO-Recover 基准。该基准基于 LIBERO 平台,收集了 SOTA 具身模型的执行失败案例,构建了包含行动重试、行动适应、物体状态恢复和环境恢复四个层级的 1,000+ 场景。
论文提出 World-Model-Augmented Visual Locomotion (WM-LOCO),通过联合训练的世界模型预测未来本体状态、自中心观测及任务奖励,为近端策略优化(PPO)提供前瞻脚位放置上下文。
针对 VLA 模型在新机器人部署时因硬件配置差异导致性能下降且微调易引发遗忘的问题,本文提出一种自监督方法,利用零样本 VLA 生成在线交互数据作为额外训练集。实验表明该方法在真实 ALOHA 机器人和 RoboTwin 仿真基准上实现了多任务策略的强泛化:既继承了预训练的蒸馏任务,又提升了专家微调后的指令遵循能力,同时缓解了非微调任务的遗忘现象。代码、检查点和数据已公开。
论文提出 DEED(Data-Efficient Post-Training and Experience-Driven Learning)框架,旨在弥合基准性能与可靠现实操作之间的差距。
推荐理由:提出 DEED 框架,通过数据高效微调与经验驱动学习在单 GPU 上实现 Unitree G1-Edu 机器人超市补货任务。
论文介绍 DuoBench 框架,涵盖 FR3 Duo 平台上的十一项双臂操作任务,包含仿真环境与部分实物复现的标准化流程。研究提出分阶段评估方案以支持细粒度语义失效分析,并对比了多种模仿学习与视觉语言动作策略的表现。结果显示当前策略在交互初期、双臂并行执行及虚实迁移场景中仍面临挑战,且仿真能复现真实实验中的同类失效模式。代码与数据集已开源。
该研究提出 SimuScene,一种将物理引擎纳入形状与布局估计生成过程的组合式 3D 重建管线。不同于仅用于后处理修正,该方法利用物理引擎在生成过程中作为诊断测量工具,通过重力模拟将穿透和支撑失败转化为定量修正信号以驱动模态形状重采样及轻量级几何拉伸修正,从而缓解累积误差并产出稳定的物理就绪场景。
针对外骨骼辅助中用户与设备需协同适应的非平稳学习问题,本文提出分阶段多智能体训练(SMAT)框架。该方法在 MyoAssist 仿真环境中,先让肌肉骨骼模型学习无助力步态及适应附加质量,再训练外骨骼策略,最后实现双向反馈下的共同适应。
推荐理由:提出分阶段多智能体训练框架,在仿真与物理实验中均实现无需个体重训的持续正向助力。
论文介绍了 DexCanvas,这是一个混合真实 - 合成数据集,包含 7000 小时的手物交互记录及每帧接触点与力信息,数据源自 70 小时光学动捕并通过 RL 策略在仿真中复现。实验显示该数据集使 Diffusion Policy 成功率从 67.5% 提升至 82.2%,并在未见物体上保持 72.5% 的成功率。111,857 条力标注轨迹已在 Hugging Face 公开。