优必选发布 Thinker-WM 具身世界模型:三大基准全榜第一,支持六大能力模式
优必选发布自研具身世界模型 Thinker-WM,在 WorldOlympiad、EWMBench 和 WorldArena1.0 Track-1 三大公认基准评测中均位列第一。
推荐理由:优必选推出 Thinker-WM,在三大世界模型基准中均获第一,提供统一多模态表征架构与开源入口。
技术方向
世界状态建模、预测、可控生成与交互;区分视觉生成、空间导航和具备物理预测能力的系统。
574 条精选近 30 天 307 条共收录 1,758 条
优必选发布自研具身世界模型 Thinker-WM,在 WorldOlympiad、EWMBench 和 WorldArena1.0 Track-1 三大公认基准评测中均位列第一。
推荐理由:优必选推出 Thinker-WM,在三大世界模型基准中均获第一,提供统一多模态表征架构与开源入口。
Torc Robotics 与 Mila、NYU 合作发表论文,展示如何用自博弈强化学习训练从相机图像驱动的端到端模型。方法先利用简化渲染器 Gigapixel(单卡 A100 每秒约 5 万步)训练结构化输入的强化学习教师策略,再通过 DAgger 蒸馏至相机学生策略并适配真实感知。
推荐理由:Torc 提出自博弈强化学习解决端到端智驾数据稀疏瓶颈,通过结构化教师蒸馏至相机策略并适配真实感知。
论文介绍 Data World 多智能体引擎,该引擎在生成文件前显式指定其背后的世界机制,以解决数据代理训练中环境成本高、隐私限制及结果难验证的问题。研究通过人类偏好筛选出涵盖 16 个领域的 50 个保留世界的 100 个任务构建基准,并生成了来自 1,037 个独立世界的 2,135 个训练任务。
推荐理由:提出 Data World 引擎,通过合成环境与任务解决数据代理训练的隐私与验证难题。
论文介绍 FDE-Gym 基准,包含来自 18 个行业、20 种场景的 95 项端到端交付任务,模拟具有脚本化利益相关者和可修改系统的生产环境。评估显示,在需发现未声明约束的真实设置中,最佳配置平均得分为 0.56,仅解决 14 项任务;即使获取所有关键事实,能实现高业务提升的任务也仅有 10 项。
推荐理由:该基准通过模拟真实交付场景,揭示了模型在发现未声明约束时的性能瓶颈及从事实到有效解决方案的差距。
论文介绍 CoWorld Reasoner 框架,该框架将视频世界模型(VWM)作为统一的视觉推理引擎,通过工具调用和技能引导 VLM 进行灵活的视觉想象与空间、因果及感知推理。
推荐理由:提出利用视频世界模型作为统一视觉推理引擎的代理框架,在多项基准测试中优于直接推理。
论文提出了 DuplexBridge 框架,旨在解决复杂图像编辑中任务解释失败难以归因的问题。该方法利用统一模型自身的理解能力来增强其生成提示,无需外部理解模块。
推荐理由:提出 DuplexBridge 框架,利用模型自身理解能力增强生成提示,在 CE-Bench 等基准上显著提升了图像编辑的完全合规率。
该论文提出了 RSIgen 框架,旨在解决统一多模态骨干网络中生成器更新导致智能体动作监督过时的矛盾。通过动态责任路由(DRR)匹配证据、输入与受支持动作来选择学习接收者并构建兼容训练目标;在生成器学习后重新评估测试动作的相对效用以刷新智能体监督,并由保留角色构建下一轮课程。
推荐理由:提出 RSIgen 框架,通过动态责任路由解决生成器更新导致的监督过时问题,在多个模型上提升任务成功率与视觉质量。
arXiv 论文 LIMBO 提出了一种框架,通过从黑盒状态转移中学习状态 - 动作控制屏障函数,并将其安全结构蒸馏到任务策略中。该方法在冻结基控制器周围对残差动作进行基于剩余的安全证书合成,使 Q-CBF 合成在全控制维度上可行。实验在一个拥有 29 个自由度的类人机器人上进行了躲避球和跨越低障碍物的运动演示,展示了学习到的策略无需在线安全过滤即可直接迁移到硬件。
推荐理由:该框架将安全证书蒸馏至任务策略,使学习到的安全合成可扩展到全身敏捷控制且无需在线安全过滤。
arXiv 论文介绍了 VOiLA 框架,旨在解决部分可观测马尔可夫决策过程(POMDP)中的不确定性规划问题。该框架通过条件扩散模型学习任务无关的 POMDP 世界模型,并将采样器蒸馏为紧凑的前馈生成器以集成到向量化在线 POMDP 规划器中。
推荐理由:该研究提出 VOiLA 框架,利用蒸馏后的扩散模型实现 POMDP 在线规划,在仿真数据上实现了物理机器人任务的完美执行。
arXiv 论文介绍 Mallea 系统,该系统利用编码智能体从文本提示中推断物体交互需求,联合规划物体结构、属性及规则以支持紧凑表示。系统通过生成式渲染器结合当前结构与记忆的纹理外观来推进世界状态,并允许用户动作引导演化或编辑属性而不影响现有状态。材料为预印本版本,未报告真实机器人部署结果。
推荐理由:原文提出 Mallea 系统,通过编码智能体构建可编辑的文本驱动世界模型,支持对象交互规划与纹理记忆。
该论文提出了 SHRED 框架,通过大规模异质性自博弈联合训练车辆、行人和骑行者,无需依赖人类驾驶演示或轨迹回放。实验显示,该方法在 Waymo Open Sim Agents Challenge 中优于无演示基线及参考策略方法,且在 nuPlan 地图几何零样本评估下保持真实感;在交互密集的 InterPlan 基准上规划性能全面领先。消融研究表明自博弈中的异质性显著提升了交通真实性和规划效果。
推荐理由:提出无需专家演示的异质交通参与者自博弈框架,在仿真挑战中优于基线并提升规划性能。
论文介绍 T2-Z 方法,该方法为机器人世界模型引入可学习的无监督环境潜变量,在训练阶段交替优化动力学与潜变量结构,在测试阶段仅凭少量交互即可适配新环境。实验显示,该方法在仿真和真实任务中将物体预测误差从 15.20 降至 7.00,动作成功率从 33.73% 提升至 72.96%,且能高效捕捉环境与物理因素的联合表征。
推荐理由:该工作提出在测试时优化环境潜变量以适配未见过的环境配置,显著降低预测误差并提升任务成功率。
论文介绍了 P^3-WAM,这是一个用于第一人称灵巧操作的统一世界动作模型,通过学习感知、预测和规划三种互补模式来整合 3D 动作表示与预训练视频扩散 Transformer。实验表明,统一训练在四个数据集上的 3D 手部重建、动作条件视频预测以及指令遵循度上均优于专用基线,且无需将单一任务拆分为独立模块。
推荐理由:该工作提出了统一的 P^3-WAM 模型,通过单一架构同时实现手动作重建、视觉未来预测与目标导向规划。
论文介绍 CoDA 框架,解决生成式仿真环境物理有效但不利于训练的问题。该框架通过共享异构记忆实现仿真数据引擎与动作策略的协同进化,利用视觉语言批评将验证后的诊断转化为重建困难和辅助训练的生成程序。
推荐理由:该框架通过共享记忆让仿真引擎与策略协同进化,利用视觉语言批评生成针对性训练程序,在四个操作任务家族中将分布外成功率从 5.3% 提升至 27.6%。
论文提出 DSP(Dexterity from supervised play)框架,机器人通过行为克隆从几分钟的人类游戏中学习策略,进而自主执行以收集小时级交互数据用于训练世界模型;推理阶段利用该策略引导模型预测控制并蒸馏闭环策略。
推荐理由:提出 DSP 框架,通过监督游戏自主收集数据训练世界模型与策略,在少样本下实现灵巧操作。
论文指出世界模型规划器在部署时面临计划轨迹与实际执行不一致的问题,直接替换预测轨迹效果有限。作者提出 ExecutionBridge 方法,通过推断控制器特定的执行特征来适配原生自我潜变量展开,同时保持原计划轨迹和冻结的规划器、世界模型及奖励头不变。该方法在 NAVSIM 基准上对未见过的控制器配置和多款冻结规划器均能提升规划性能,尤其在驾驶场景复杂时增益显著。
推荐理由:针对冻结的世界模型规划器与控制器执行偏差问题,提出 ExecutionBridge 方法以适配执行特征。
该研究提出 VeriVLA,旨在解决基于噪声的 VLA 策略在测试阶段无法评估样本质量的问题。该方法采用无需训练的触发机制,利用两个初始样本测量时间变异性和跨样本方差以检测关键状态;一旦触发,便使用 JEPA 架构的潜在世界模型预测动作条件化的未来潜在状态及任务进度变化,从而对候选动作块进行排序。
推荐理由:该方法在无需训练的情况下,利用潜在世界模型对基于流的 VLA 策略进行测试时验证,将笔插入等三项真实任务的平均完成度从 50.8% 提升至 65.5%,并在仿真环境中实现稳定增益。
针对电子稳定控制系统难以处理打滑、水滑或急避导致的失控问题,该研究提出通过强化学习训练漂移策略并迁移至最小时间恢复任务的方法。作者定义了基于相平面的稳定平衡点作为恢复标准,开发了 Gym-Khana 用于控制器训练与评估。
推荐理由:该研究通过强化学习训练漂移策略并迁移至恢复控制,在物理 F1TENTH 平台上验证了比传统方法更优的失控恢复能力。
论文介绍 Athanor,这是一个在真实 GPU 上运行的开放智能体原生系统,旨在支持智能体的自主后训练研究(AutoPostTrain)。该系统赋予智能体完全的研究自主权,提供低摩擦工程工具、冻结评估服务、托管作业、去污染数据及持久化记录,且禁止使用外部教师模型。
推荐理由:Athanor 系统在沙箱环境中让 Claude Opus 5.5 智能体自主完成基座模型的后训练,首次演示了前沿智能体重组已知方法即可达到官方指令微调版本的效果。
针对流式视觉语言模型需整合历史信息且保持对当前观测响应的挑战,本文提出 MaLoW 框架,利用循环超网络将视频观测增量整合为固定大小的 LoRA 权重,从而以参数形式携带历史信息而非占用上下文。
推荐理由:提出将历史记忆内化为参数更新的框架,在长视频理解与具身智能任务上优于现有方法。