CMU博士团队开源机器人学习框架Eden:Claude Opus 5开发效率提升4倍
美国卡内基梅隆大学研究人员宣布开源机器人学习框架Eden,由博士生Kashu Yamazaki主导。该框架基于Genesis构建,整合了任务配置、仿真训练与真机部署全流程,内置245个可组合MDP组件及47种机器人模型。
美国卡内基梅隆大学研究人员宣布开源机器人学习框架Eden,由博士生Kashu Yamazaki主导。该框架基于Genesis构建,整合了任务配置、仿真训练与真机部署全流程,内置245个可组合MDP组件及47种机器人模型。
禾赛科技旗下三维世界数据引擎Kosmo与物理AI基础设施公司Ropedia达成战略合作,共同推进高质量真实世界数据的规模化生产。双方联合支持的Ropedia Xperience 2研究项目正式发布,包含1589个三维扫描场景、74项任务及4230条第一视角记录,总时长131小时。
该综述系统梳理了大语言模型和视觉语言模型在感知、规划及人机交互领域的进展,将应用划分为仿真驱动、开放世界操作等四个方向。文章重点分析了程序化场景生成与策略泛化等关键趋势,同时指出了具身数据匮乏、安全风险及算力限制等核心瓶颈。最后提出了通过构建更鲁棒的可解释模型来弥合语义推理与物理智能差距的未来研究路线图。
该论文提出一种方法,利用 Post-training Engine for Agentic Robotics (PEAR) 在仿真环境中对开源 27B 推理模型进行强化学习训练,使其能够原生控制真实机器人而无需演示。
AR-Classroom 项目在 Meta Quest 3 头显上实现了针对乐高飞机的无标记六自由度(6DoF)追踪。
该论文展示了利用强化学习(RL)结合仿真到现实(sim-to-real)迁移技术,成功自动化了复杂液压驱动的重型机械——John Deere 332G 滑移装载机的极限动作。策略使机器能够自主完成两轮平衡、跨越崎岖地形、绘制指定轨迹及旋转等高难度杂技动作,此前这些操作仅由少数精英人类操作员在世界纪录级别的表演中实现。
推荐理由:作者展示强化学习在仿真中训练的策略成功迁移至现实,实现了推土机在两轮平衡状态下跨越崎岖地形并自主完成高难度杂技动作。
该论文介绍 Objectives as Policies (OaP) 框架,连接预训练视觉语言模型与基于采样的模型预测控制器,利用可编辑的目标程序桥接语义推理与物理规划。系统通过真实到仿真的数字孪生生成初始程序,经 MPC 仿真迭代更新后部署至现实世界。作者在四个桌面操作任务上进行了仿真与现实评估,结果显示该框架优于强基线。
推荐理由:提出将预训练视觉语言模型生成的目标程序作为 MPC 控制器输入,通过仿真到现实迭代实现接触丰富操作任务。
MELD(Multi-level Embedding-space Latent Diffusion)利用无标签目标数据,通过四级 PointNet++特征层扩散去噪器将哥伦比亚圣玛尔塔内华达山脉 Teyuna 与 Miraflores 两地区的古梯田检测 F1 值分别从 0.397/0.557 提升至 0.459/0.594。
Zixuan Jiang 在 arXiv 发布了一项关于多视图视觉增强的受控研究,利用仿真状态回放解耦了跨视图关联与单相机扰动分布。实验涵盖七个 LIBERO 操作任务,结果显示全局外观、鬼影注入和目标颜色的边际匹配变化对晚期融合扩散策略的平均成本影响微小;而几何反耦合观测使成功率下降约 3.30 个百分点。
推荐理由:该研究通过受控实验量化了多视图外观增强中不同一致性形式对下游控制策略的影响,为选择性约束提供了依据。
该论文介绍 Ego2Flow 基准,用于评估自动驾驶在由真实世界城市数据蒸馏生成的地图上的交通系统级影响。作者开发了代理引导的地图蒸馏框架,结合现实地图与观测及地理信息,通过迭代反馈机制保留车道拓扑和关键几何特征,简化非必需细节并补全未观测区域。
推荐理由:提出闭环基准 Ego2Flow,评估自动驾驶策略对从真实道路蒸馏出的地图的交通系统影响。
EViDS 是首个将 CARLA 环境感知与 CarSim 高保真动力学集成的仿真平台,通过射线铸造轮胎路面交互及参考姿态对齐技术维持时空一致性。该平台支持在线闭环智能底盘控制,在动力学特性保持与环境信息可靠传递的测试中表现优异,为环境感知型智能底盘开发提供统一验证基础。
TouchTwin 针对现有视觉追踪无法观测手指接触力度与时刻的缺口,利用头手 RGB-D 相机和 880 触点的手套采集的人类演示数据在 MuJoCo 中重建交互。
Agentic-Teacher 是一个用于视觉语言动作(VLA)模型后训练的自主数据引擎。该引擎接收预训练检查点、任务规范及环境工具,通过分析失败执行轨迹选择干预状态,迭代开发闭环代码策略以收集成功演示。
推荐理由:提出利用智能体自主生成失败驱动数据的引擎,结合动作噪声与流匹配过滤优化演示质量,在仿真环境中显著提升 VLA 模型成功率。
CARNIVAL 模型通过整合冷冻电镜前向模型生成的特权视图与标签,在受限倾斜角及严重噪声的模拟数据上实现了域特定增强。该模型在未微调状态下于真实断层扫描数据集上的分类与检测任务中,优于仅使用对比目标训练的现有最先进模型。研究结果已接受至 NeurIPS 2026 Sim2Science 研讨会,代码与论文将在 arXiv 发布。
该论文研究了交互式视频世界模型中的视觉持久性问题,发现当生成长度超出训练范围时,基于 KV Cache 的模型因位置编码偏移过大而难以检索信息。作者提出无需训练的 WorldTrace 框架,通过为压缩后的记忆槽分配独特的虚拟位置来保持可寻址性,并利用模型自身的注意力机制决定保留哪些观测或合并冗余内容。
NVIDIA 发布 OmniDreams,这是一个基于 Cosmos 扩散模型中后训练的实时生成式世界模型,旨在解决长尾场景下自动驾驶策略安全评估的瓶颈。该模型通过自回归方式根据过去帧、当前仿真状态及即时驾驶动作生成逼真的传感器视频,能合成极端天气和不可预测的动态行为等难以捕捉的现象。
推荐理由:NVIDIA 推出 OmniDreams,利用 Cosmos 扩散模型基座实现实时闭环生成,支持极端场景与动态交互,并展示在 NuRec 数据集上优于 Alpamayo 1.5 的预训练策略性能。
Hanzhe Liang 提出 Open3D-AD 方法,利用少量已知异常样本训练模型以识别未知工业缺陷。该方法基于包含 15 类、每类 5 种真实异常的 Open-Industry 数据集构建基准,在 Real3D-AD 和 Anomaly-ShapeNet 上验证了有效性。论文已撤回且未提供许可证,代码与权重暂未开放。
针对视觉语言动作模型(VLAs)在特定环境部署需微调且对相机视角变化敏感的问题,本文提出 AnyCamVLA 零样本相机自适应框架。该方法利用前馈新视图合成模型,在测试时将实时观测的图像虚拟调整为与训练配置匹配的目标视角,无需额外演示数据、策略微调或架构修改。
推荐理由:提出无需微调的零样本相机自适应框架,通过实时合成目标视角图像提升 VLA 在真实场景中的鲁棒性。
论文提出了 Agentic Aerial Cinematography (ACDC) 框架,旨在弥合智能体在数字环境中的推理能力与物理世界任务执行之间的差距。该框架通过执行器将智能体对电影意图和视觉判断的解释锚定在场景几何与飞行约束上:给定自然语言请求和三维场景表示,智能体选择相关视角并通过视觉反馈进行优化,随后利用优化与运动规划生成可执行的无人机航迹。
针对非线性时间最优模型预测控制计算成本高难以实时的问题,本文提出一种集成化架构以实现数据高效的实时神经模仿。核心贡献包括自信息采样策略、联合处理数据集相关性等挑战的完整训练与控制架构,以及在 Furuta 摆上的真实世界验证。
Scalable Inverse Model (SIM) 框架通过协同设计物理仿真训练数据与模型架构,在涵盖七个国际中心、五种厂商及 0.3-7 T 磁场的 14 个数据集上实现了鲁棒的零样本 MRI 重建。该方案在包含 150 次扫描的盲测放射科研究中恢复了精细解剖细节并抑制了常规深度学习方法失效处的混叠伪影,且无需额外采集数据即可泛化至未见过的扫描仪与协议。
针对现有遥感智能体依赖预定义知识或参数更新的问题,本文提出 SkillEarth 方法,能够从演示轨迹中自动提取可复用的工具调用知识并实现观测驱动的演化。该方法结合双裁判反馈与基于观测的路由图进行组件级精细化,在 OpenEarth-Bench 和 Earth-Bench 上展现了优于现有方法的工具选择、参数正确性、执行顺序一致性和任务完成率,且支持跨大模型复用而无需重新训练。
针对语言引导无人机导航长期侧重长程规划而忽视短距物体相对飞行的空白,该工作提出 Flying-on-a-Word 任务及 UAV-Flow 数据集,包含 30,692 条真实专家轨迹和 10,109 条仿真轨迹。团队开发 FlowVLA 模型,利用 Tail-Aware GRPO 方法进行在线后训练,在仿真基准上平均成功率达 93.16%,并在室内外实物场景中验证了物体相对指令的稳健执行能力。
推荐理由:该工作提出语言引导无人机飞行新基准与框架,通过混合真实与仿真数据训练 VLA 模型,在仿真中成功率提升至 93.16% 并验证了实物执行能力。
ACE-CaP-0 提出一种结合按需演示(Demonstrations on Request)与按需仿真(Simulation on Demand)的智能体配方,旨在通过经验获取并保留可执行的物理技能。
推荐理由:提出 ACE-CaP-0 框架,结合按需演示与按需仿真将八项真实操作任务成功率提升至 92.1%,实现无需人在环的自主执行。
针对激光雷达在雾天因强背向散射和信号衰减导致弱目标回波丢失的问题,该工作发布了 Fog-FWL 数据集基础。
推荐理由:该工作发布了首个大规模全波形激光雷达雾天数据集,填补了从波形数据恢复被雾遮挡物体的研究空白。
论文介绍 EgoX 框架,利用语义对应的观测与动作模态组织异构演示数据。模型 MXT+ 采用模块化交叉具身 Transformer 架构,为每种观测和动作分配专用 Tokenizer 与专家,共享主干网络并通过训练专用的身体 Dreaming 目标预测未来视觉和本体感觉状态以建模动力学。
推荐理由:该预印本提出 EgoX 框架,通过模态解耦与身体 dreaming 实现跨机器人策略迁移,在 OOD 条件下显著提升任务进度。
VOKE 是一个运动学感知感知框架,通过可插拔模块预测物体的线角速度加速度并优化位姿估计。在 DexYCB 和 OakInk 数据集上,该方法显著降低了速度与加速度误差,优于基于位姿差分的方法。下游应用利用增强策略在无微调情况下成功从仿真迁移至物理机器人,验证了感知到控制的完整路径。
针对传统全身运动跟踪策略训练耗时长的痛点,本文提出 BlinkMimic 配方,结合从并行仿真学习的世界模型回传梯度、Muon 更新机制以及残差策略等技术。
推荐理由:作者提出 BlinkMimic 配方,在单卡 RTX 4090 上仅需 3.4 分钟即可训练出能复现 40 个动作片段的人形机器人全身运动跟踪策略。
ManiLadder 是一个大规模且组织良好的机器人操作仿真基准,包含 112 个精心设计的任务,分为 4 个难度等级,涵盖刚性/柔性物体、单臂/双臂及夹爪/灵巧手末端执行器。作者通过固定数据量并使用统一的流匹配模仿学习策略校准难度,验证了任务难度排序在现实世界实验中得以保持。
推荐理由:该基准通过固定数据量与统一策略校准任务难度,验证了从仿真到现实的难度排序一致性。
论文介绍 Hand in Silhouette (SilHand) 框架,利用低成本获取的二值手部掩码替代 RGB 特征进行 3D 重建,以缩小合成数据与真实数据的观察差距。该方法在包含 4.68 万个抓取姿态和 6 万个自由手势的大规模合成数据集上训练,并在五个现实基准测试中将相对重建精度从 49.2% 提升至 63.4%,且对掩码噪声具有鲁棒性。
推荐理由:该工作提出基于二值掩码的仿真到现实手重建框架,通过掩码射线证据融合缩小外观差距,在五个基准测试中相对精度提升显著。
针对灾害现场机器人接触导致未检查地形塌陷的问题,论文提出一种记忆高效的并行策略学习框架。该方法通过混合地形建模结合非塌陷区域的刚体仿真与可塌陷区域的虚拟接触力,在共享刚性物体可塌陷地形上实现间接干扰下的独立状态 - 动作经验采集。
Alloy 是一个开源物理引擎,旨在解决机器人训练中刚体与非刚体(如布料、液体、颗粒)难以在同一场景模拟的问题。该引擎将不同材质的求解器耦合在单一场景中,支持在单 GPU 或 CPU 上并行运行多个世界实例,并引入健康度评分以区分物理失败与策略失败。
该研究针对室内环境下利用固定外置相机进行机器人导航的问题,指出标准 PPO 算法因视角不匹配而失效。为此提出 Viewpoint-Invariant Navigation from Exocentric Cameras (VINE) 方法,通过监督学习构建障碍物地图估计网络,输入外置图像、相机位姿、机器人位姿及房间尺寸以生成观点不变障碍图。
BWM-Forge 是一个用于可控机器人视频生成的代码驱动框架。给定机器人资产和任务描述,该框架接受初始图像、含运动数据的图像或人类演示视频作为输入。一个编码智能体构建可编辑的 Blender 场景程序以指定物体、机器人运动和相机视角;生成的代理视频为视频生成模型提供结构和运动参考,后者负责添加视觉细节。
论文 JustRUA 针对 GPT-6 Astra 在 RoboDojo 上的表现差异,拆解了 harness、动作接口、经验复用与场景几何等设计因素并进行统一测试。
该论文研究了在图像潜在空间中生成触觉是否保留了材料识别信息。实验发现,基于 Stable Diffusion VAE 的重建结果能保持物体身份(匹配准确率 76.7%),优于离散分词器重建,且接近真实触觉数据。研究据此选择了 SD-VAE 潜空间进行光到触的生成器训练,代码将在论文接收后发布。
该系统在 NVIDIA Jetson AGX Orin 上控制 Franka Research 3,融合 RealSense D435i、YOLO11-seg 分割及深度反投影实现感知控制。
针对桌面卡牌游戏中物体识别成本高、标注难的问题,作者开发了一套全自动的合成数据采集管线。该方法利用已知三维坐标的重投影自动生成标签,并结合域随机化技术以弥合仿真与现实的差距。
推荐理由:提出利用重投影与域随机化构建合成数据管线,在真实机器人上实现卡牌游戏状态检测的高精度感知。
该研究利用πhalf模型在两个动态仿真基准及三个真实机器人任务上,探究了使预训练视觉语言动作(VLA)模型对物体移动保持反应性的关键因素。实验表明最佳预测 horizon 约为 1 秒,且保持轨迹连续的方法优于仅降低延迟的策略,政策适应与执行流水线需共同评估以修复目标失败。
本文介绍 FOMO,一种基于 Transformer 的端到端可训练架构,用于零样本模型驱动的目标检测。该方法通过双向注意力机制融合潜在令牌、多视图 CAD 模板和图像特征,生成对象感知特征与条件查询,进而解码为边界框及置信度预测。