Best-of-N 策略如何助力世界动作模型?测量可选增益并在闭环中实现
该研究针对世界动作模型(WAMs)提出去噪反事实协议,通过位级可复现分支和保留随机数消除执行噪声,准确测量候选动作的真实增益。研究发现标准估计高估了原生样本的可选增益,而结构化动作扰动可创造高达 16 分的增益空间;在动作条件化想象中,想象未来与真实未来信息无损。基于此构建的选择器仅在预测失败时偏离策略,使闭环任务成功率从 76.9% 提升至 81.6%,未见任务中提升最大。
该研究针对世界动作模型(WAMs)提出去噪反事实协议,通过位级可复现分支和保留随机数消除执行噪声,准确测量候选动作的真实增益。研究发现标准估计高估了原生样本的可选增益,而结构化动作扰动可创造高达 16 分的增益空间;在动作条件化想象中,想象未来与真实未来信息无损。基于此构建的选择器仅在预测失败时偏离策略,使闭环任务成功率从 76.9% 提升至 81.6%,未见任务中提升最大。
arXiv 论文 GAWM 提出了一种紧凑的多任务世界动作模型(WAM),旨在解决现有基于百亿参数视觉语言或视频生成骨干网络的高训练成本与推理延迟问题。该模型在冻结的 DINOv3 编码器潜在空间内预测未来观测,将每个相机视图的特征压缩为少量 token,并通过轻量级预测器根据任务而非动作来预报这些 token。
推荐理由:该工作提出了一种仅用不到1亿参数且无需预训练的紧凑型世界动作模型,在RoboTwin 2.0和LIBERO基准上表现优异。
Trace-WAM 是一种世界动作模型(WAM),旨在通过耦合未来视觉预测与动作生成来学习机器人控制表示。该方法引入未来 3D 运动预测作为辅助目标,监督时间点对应、图像平面位移和深度变化以描述操作动力学。
论文介绍 ExecDiffuser,一种结合候选生成、轨迹选择与重规划的循环框架,旨在解决生成式规划中提案质量提升反而恶化执行决策的“样本 - 执行差距”问题。该方法利用意图引导的扩散提案和执行接地选择机制,在 nuPlan、InterPlan 和 NAVSIM 基准上取得领先的闭环性能,平均得分为 85.62,优于 Diffusion Planner 和 FlowDrive。
论文提出 TAPESTRY 方法,通过 Tokenizing Actions as Video Patches in a Shared Transformer Policy,将预训练视频扩散模型复用于机器人控制策略,无需在推理时进行资源密集的视频生成。
推荐理由:该工作将预训练视频扩散模型复用于机器人策略,无需推理时生成视频即可输出动作序列。
论文提出了 RynnWorld-Latent,这是一个利用 3D-grounded latent actions 作为共享条件接口的跨具身视频世界模型。该模型在预训练阶段联合使用了人类交互视频、机器人演示和仿真 rollout,无需统一的原生动作空间。
推荐理由:该工作提出基于通用潜在动作的跨具身世界模型,支持在人类视频与机器人演示上联合预训练,并验证了其在真实机器人上的策略成功率提升。
arXiv 发布的技术报告介绍了 Hy-Nomas,这是一个基于 8B 扩散骨干的视频世界模型,支持多轮次交互中的自由文本指令与连续相机控制。其核心设计将结构化视频描述与动作感知因果注意力对齐,并通过视觉语言提示增强器处理多模态历史。研究展示了优于现有模型的评估结果,并开源了模型权重、代码、基准及轻量级适配工作流以支持可复现研究。
SWIM 提出一种利用逆动力学模型从离线轨迹中学习状态权重的方法,解决联合嵌入预测架构(JEPA)中视觉目标未显式融合任务相关状态信息的问题。该方法在五个机器人操作仿真任务中,相比均匀加权基线一致提升了基于图像的规划成功率,且无需额外推理计算。论文为预印本,代码与权重暂未开放。
论文提出 Motion-Guided Asymmetric Prediction (MoGAP) 方法,旨在通过联合预测未来视觉观测和动作来适配预训练视频生成模型以用于机器人控制。
LabWorld 是一个由智能体驱动的 Real2Sim 框架,能从单目 RGB 视频重建包含可复用 3D 资产、度量场景及时间变化状态的交互式 4D 实验室世界。
该论文提出 Nemotron-Labs-Diffusion-Uni(NLD-Uni),这是一种用于视觉理解与生成任务的统一离散扩散大语言模型。
该研究提出一种将实测赛道点云转化为闭合、$C^4$可微三维表面模型的拟合流程。通过最小化积分曲率并约束边界与周期性的二次规划获取 MCL,有效避免紧弯处法向量交叉导致的参数化失效。最终曲面以用户可选高度的多项式描述截面高程,并以周期性分段五次 $C^4$ B 样条形式导出,适用于高保真 Modelica 赛车优化任务。
TrackJoint 是一个 Modelica MultiBody 组件,能将三维路面转化为具有两个自由度的关节(沿参考线的行驶距离和侧向偏移),从而确定单帧连接器的位置、姿态和角速度。
论文介绍 BoxWorld 框架,解决实时交互式视频世界中用户定义行为难以指定对象级规则的问题。该方法将交互推理与生成渲染分离,由代码代理构建世界引擎确定交互结果,再通过生成渲染器将状态流转化为视频。系统采用三阶段训练策略学习对象定位与状态转换,并在自生历史上进行蒸馏。作者提出了 PairedStateBench 基准用于评估细粒度交互控制能力。
该论文提出 GeoUG 统一模型,整合深度估计、多视图生成与空间理解任务。研究设计了多尺度深度编解码器以支持度量深度生成,并构建了 3DCueBench 基准以控制几何难度。
该论文提出 E0.5,这是一个以 3D 几何为原生基础的机器人世界 - 动作(WAM)模型,将 3D 几何作为世界建模与动作预测的核心表示。E0.5 在 RoboTwin 2.0 基准上无需具身数据预训练即可达到 89.90%(干净设置)和 50.09%(随机化设置)的成功率,并显式联合预测未来 3D 状态与动作。
推荐理由:该工作提出以 3D 几何为原生基础的 E0.5 模型,在 RoboTwin 2.0 上实现高成功率,并通过具身预训练显著提升真实机器人操作表现。
ObjectTwin 提出一种基于扫描的测量协议,在冻结实例、相机及深度锚点等条件下仅替换物体表征以量化资产对应差距。实验显示,在两个室内 RGB-D 采集域和两种生成后端下,可见绑定生成的资产 MaskIoU 损失为 0.302-0.497。该研究确立了捕获对应关系作为衡量生成资产质量与物理评估之间独立接口的地位。
该论文提出 A-RSI 方法,旨在解决递归自我改进中何时引入新经验的问题。系统通过监控训练日志中的奖励变化和准确率来动态刷新任务池,无需依赖验证集或测试分数。模型利用静态库生成多模态问题及参考答案,并自动验证属性与审计答案,整个训练循环不依赖外部示例或人工标注。在包含 11 个基准的测试套件上,该方法使用 800 个新任务将平均性能从 57.77 提升至 61.05。
Hugging Face Daily Papers 收录了 arXiv:2610.37919 论文,介绍了 SciGame 基准。该工作将科学文献转化为结构化卡片,构建包含真实历史定律和反事实环境的任务接口,评估智能体在识别与发现设置下的表现。实验表明,熟悉先验会损害规律改变后的性能,自适应策略对强模型有益但可能伤害弱模型,且解释性好的回答可能掩盖定量失败。
Google DeepMind 正式发布 Genie 4,这是一款原生多模态的世界模型,旨在提升实时交互式仿真的真实感。该模型能同时生成类似音乐的音频、环境噪音及互动对话,并基于 Gemini 系列能力锚定现实外观与行为。
AutoVend 是一个基准测试框架,用于评估大型语言模型(LLM)代理在长周期自主售货业务中的表现。该研究构建了一个数据驱动的仿真器,模拟了包含共享仓库、采购提前期、付费补货、库存过期及运营成本在内的复杂环境。
上海AI实验室推出通专融合智能体书生-A1.5(Sage-A1.5),在神经科学与电化学等真实场景中验证递归自我改进技术路径。该模型具备智能体编排与校验能力,可自主拆解任务、调度子智能体并行调研并修正推理偏差。35B参数版本在多项专业评测基准中表现优异,支持昇腾NPU及多种GPU架构,面向科研团队开放试用。
推荐理由:上海AI实验室推出通专融合智能体书生-A1.5,验证真实科学场景驱动基模自进化路径。
该论文提出 Skill^infty 框架,通过让元智能体利用可编码为技能的元技能来诊断执行轨迹、生成候选方案并分配搜索预算,从而实现技能优化过程的递归自我改进。
推荐理由:提出递归自我改进的 Skill^infty 框架,在技能优化任务上超越人工与现有方法。
本文介绍 JRDB-AVR 基准和参考方法 JRDB-AVR-Agent,旨在解决当前视觉推理评测忽视主动证据获取的问题。该基准基于真实世界 JRDB 机器人数据构建,要求智能体接收问题后主动请求特定时间戳和视角的观测,并评估最终答案与支撑证据的一致性。实验显示现有基线存在答案准确但缺乏依据的现象,表明需要引入主动感知评估。代码与基准已开源。
针对可微模拟器中不连续动力学导致的偏差问题,本文提出 DDCG 轻量级测试以在 nonsmooth 区域切换估计器,并引入 IVW-H 每步逆方差实现来稳定方差。实验表明,尽管切换估计器能提升鲁棒性,但在实际部署中细致的方差控制往往起主导作用。
论文介绍 Asking the World (ATW),一种构建并质询任务相关可执行世界的通用智能体,包含世界建模与世界探测两个自适应阶段。系统利用 PolyWorld Engine 引擎和 CEM 方法识别动力学,将视频信息转化为主动实验工作区而非预定工具。
该论文提出 CognitiveReality 系统,将机器人的 RGB-D 流转化为由算子共享的实时语义索引高斯-TSDF 地图,支持通过配置适配不同平台。系统在定位中断时利用影子跟踪器和关键帧锚定 PnP 维持鲁棒性,并通过验证过的类型化工具将语音和控制器射线映射到持久化场景对象上。
arXiv 论文提出 Expert-Play Contouring Control (EPCC),解决模仿学习继承演示时序导致无法加速的问题。方法利用专家数据训练潜在轨迹生成器以获取任务意图,同时用快速游玩数据训练世界模型以覆盖动力学变化;部署时优化动作沿专家轮廓最大化进度并惩罚偏离。
推荐理由:提出结合专家演示与快速游玩数据的控制方法,在三个视觉运动任务中将吞吐量提升两倍。
针对现有方法每款机器人单独训练导致运动经验隔离的问题,该研究提出 X-WBC 框架,将相对共享的人体运动语义与本体特定的物理执行分离。通过人体中心指令 token 对齐全量人体运动、机器人参考运动及稀疏 VR 观测,利用因果 Transformer 从混合多机器人 rollout 中学习可复用时间结构,并通过轻量级本体特定模块映射到各机器人的本体感知与动作空间。
推荐理由:该工作提出跨躯体基础框架,通过解耦共享语义与本体执行实现多机器人联合训练,为具身智能通用部署提供新路径。
arXiv 论文介绍了一种名为 BiSe 的后训练方法,旨在解决统一多模态模型中图像生成分解与理解优化分离的问题。该方法利用自生成的视觉片段构建反馈,通过理解引导生成和生成引导理解两个路径对齐流方向与语义证据,无需成对图文数据即可在三个骨干网络上提升文本到图像的构图能力,并在两个评估网络中改善视觉理解性能。
AgiBot Research Team 发布了 GE-Act 2.0,这是一个从头开始预训练的“世界 - 行动”模型(WAM),旨在指导机器人操作。该模型结合了控制导向自编码器、单步视觉规划器和逆动力学模型,并通过知识对齐的选择性优化进行联合训练。
推荐理由:报告了从 300 小时到 3 万小时协同训练数据对机器人操作成功率的影响,并验证了跨本体迁移与零样本泛化能力。
论文提出 RoGe 框架,解决稀疏输入下新视角合成的几何与生成先验结合难题。该方法利用前馈重建模型从少量定位图像构建隐式场景表示,通过相机射线查询获取每视图几何特征并注入视频扩散模型作为条件,全程无需显式 3D 中间表示。联合训练使生成目标直接塑造几何条件,实验表明其在图像质量、时间一致性和几何一致性上优于现有重建、生成及混合基线。代码将在发布后公开。
推荐理由:提出 RoGe 框架,通过端到端隐式重建与生成联合训练,消除显式中间表示误差,提升稀疏视图下的视频合成质量与时空一致性。
论文介绍 Code-as-World 范式,主张用可执行的代码来表征物理世界的组成、动态演化及外观,以此提供紧凑且量化的抽象。研究开发了一种受溯因推理启发的代理发现循环,让智能体提出、执行、渲染并验证世界假设以迭代优化。实验表明该方法在 QuantiPhy 基准上达到最先进水平,超越主流专有模型,展示了可执行世界表征作为物理智能可扩展基础的潜力。
Vorch-Director 是一种基于 LTX-2 扩散架构的音视频生成模型,利用噪声水平感知的残差校正策略解决自回归历史中的身份漂移与不同步问题。该模型引入任务嵌入区分历史视频、参考图像及目标视频,支持多镜头、多主体及长视界引导生成,并在 ST-Bench 上验证了优于强基线的稳定性与保真度。论文因信息披露担忧已被撤回,目前无 PDF 可供下载。
LaWAM 是一种潜在世界动作模型,通过预训练视觉基础模型的潜在空间训练动作模型并复用其前向解码器来预测场景演化的未来观测特征,从而为机器人策略提供动力学感知能力。该方法在 LIBERO、RoboTwin 及真实操作任务中取得了具有竞争力的成功率,且每步推理延迟仅为 187ms,比像素空间方法低约 24 倍。材料已接受于 CoRL 2026。
推荐理由:该工作提出利用潜在视觉子目标替代视频生成,在保持低延迟的同时实现动力学感知的机器人控制。
PRISM 方法利用冻结的世界模型编码器提取动作先验,以引导目标条件规划。该方法的均值和预测不确定性用于搜索有用动作,而世界模型则评估这些动作的后果是否符合目标。实验在四个模拟控制任务和两个真实机器人平台上进行,结果表明轻量级动作头能提升规划性能,且同一融合接口无需修改即可接受针对相同冻结特征的扩散先验。
本文提出了 Multi Rigid Object Gaussian World Model (MRO-GWM),一种利用对象中心高斯表示任意形状及多物体场景的新模型,通过学习动作条件化的刚体动力学来预测未来运动。
Crazyflow 是一款旨在推动空中机器人算法开发的统一仿真平台,结合高保真动力学与 JAX 框架实现高速与可微分性,支持百万级环境并行及数千架无人机集群。实验表明其支持无需域随机化的分析梯度策略学习与采样避障,并实现了飞行中强化学习:将物理无人机抛起后仅用 0.37 秒即可训练出恢复策略并将其接住。该工具作为开源资源,为合成数据生成及在线优化提供了新能力。
推荐理由:Crazyflow 提供 GPU 加速的可微分无人机仿真器,支持百万级环境并行与飞行中强化学习,为空中机器人算法开发提供新资源。
针对多步机器人操作中场景演化不确定性问题,研究提出通过未来经验条件化(FEC)接口,利用 LLM 推理器、数字孪生和扩散模型生成短视界未来视频作为控制与强化学习微调的结构化先验。在 RoboCasa 和 CALVIN 仿真环境中对比了无未来、生成未来及错误未来等条件下的策略表现,发现生成的未来视频能提升性能而失配的未来会退化效果,且 BC+RL 架构综合表现最强。
论文提出 StableHand 框架,针对眼动视频中双手频繁出画及物体遮挡导致的观测噪声问题,将单帧观测质量分解为手腕平移与手指关节四个通道信号,并以此条件化流匹配过程。该方法在 HOT3D 和 ARCTIC 两个基准上均优于最强基线,尤其在严重遮挡序列中 W-MPJPE 降低 20-25%。材料为 NeurIPS 2026 录用论文,未涉及真实机器人部署结果。