面向机器人世界模型空间泛化的动作表示研究
Yuhang Sun 在 arXiv 上发布了一项关于机器人世界模型中空间泛化的研究。该工作通过受控的机器人剥离基准,评估了在世界、物体和表面坐标系下定义的动作表示如何捕捉跨空间配置有效的物理关系。
推荐理由:该研究通过受控的机器人剥离基准,评估了不同坐标系下动作表示对物理关系捕捉的有效性,为设计具备跨空间配置泛化能力的机器人世界模型提供了理论依据。
Yuhang Sun 在 arXiv 上发布了一项关于机器人世界模型中空间泛化的研究。该工作通过受控的机器人剥离基准,评估了在世界、物体和表面坐标系下定义的动作表示如何捕捉跨空间配置有效的物理关系。
推荐理由:该研究通过受控的机器人剥离基准,评估了不同坐标系下动作表示对物理关系捕捉的有效性,为设计具备跨空间配置泛化能力的机器人世界模型提供了理论依据。
针对现有评估仅关注最终结果而忽略证据归因、信念更新及矛盾处理的问题,本文提出 CREG 基准以衡量多机器人系统的共享推理轨迹。该基准包含 350 个确定性生成的场景,覆盖七种规范后验参考情境,并引入独立对数几率检查器与盲审机制。
论文发现基于采样的规划器在低比特世界模型中因确定性舍入误差而崩溃,提出通过迭代内重绘的共享抖动方案可在不训练的情况下消除大部分损害。实验显示该策略将 W8A4 整数模型的规划速度提升 1.9-3.3 倍,且无需额外校准或训练即可在多个基准任务上恢复性能。
推荐理由:原文揭示了低比特量化导致规划器崩溃的机制,并验证了无需训练的抖动策略可恢复性能。
论文提出利用预训练扩散模型联合表示状态、动作和观测,通过粒子滤波维护关于状态历史的竞争假设并据此引导动作选择。实验在部分可观测导航与视觉操作任务上验证了该方法相比无滤波的动作生成策略,能提升状态估计精度与任务性能,且无需修改预训练模型或额外测试时信息。
该研究开发了一套集成商用仪器的物理测试床,实现了连续 24 小时无人值守的闭环自主实验。系统在四小时内完成六次独立任务,利用智能体优化器将匹配目标吸光度光谱所需的迭代次数较传统贝叶斯优化减少最多 52%,并成功解决后者在 48 次内未收敛的目标。该平台可作为参考基准,用于评估包括大语言模型指导在内的新兴 AI 策略,以应对真实世界中昂贵且耗时的实验部署挑战。
针对类人机器人在户外粗糙地形中需同时处理地形通过性与物体可移动性的挑战,本文提出 HINT-VLM 混合规划框架。该方法利用视觉语言模型(VLM)提供语义先验,并通过高斯过程残差模型修正以生成具身化的概率性可移动性估计,进而融入分层不确定性感知规划中。这是首个通过预测式可移动性推理解决粗糙地形下 NAMO 问题的方案。
针对前向深度相机视野受限导致的未知障碍物导航难题,本文提出了 ScanDreamer,这是一种结合在线二维扫描记忆图、基于地图的想象推理以及感知 aware 运动约束的世界模型架构。
Qubit-to-Motion 提出了一种支持约束序列化的证据中心框架,通过四组 Pauli-Z 读出作为唯一输入并记录 SHA-256 指纹实现决策到接触的可追溯性。在 MuJoCo 仿真中,该框架在五种 30 物体场景变体下完成全部 150 次放置任务,推理耗时约 8.60ms,位置误差控制在微米级。代码托管于匿名仓库,预印本状态待正式注册。
K-PWM 是一种无需单独训练推理网络的世界模型,通过扩展卡尔曼滤波在部分观测下实现概率隐状态推断与 MPPI 控制。该方法在 Gymnasium MuJoCo 系统上相比基线降低了长视界预测误差并大幅减少训练时间,在高维 Menagerie 机器人上也实现了低计算量的实时追踪精度。论文已被 NeurIPS 2026 接收,代码与权重开放许可待注册。
论文提出了 InfCoiL 框架,旨在解决基于物理的人机交互(HOI)中意图映射到行为的问题。该框架通过共享形态接口耦合了形态感知的流匹配规划器与统一多形态控制器,在自回归的规划 - 执行循环中进行协同微调。
arXiv 论文提出中性世界模型(NWM),通过混合常规驾驶与真实事故视频训练,利用边界框引导目标纠正现有模型因数据仅包含安全结局而产生的幸存者偏差。实验表明 NWM 能更准确预测迫近碰撞且保持低误报率,在 NAVSIM 挑战场景中辅助决策优于基线,并在零样本实验中实现向未见传感器观测的迁移。
论文提出 ForeAct,旨在解决现有方法在场景几何与演化动态处理上的割裂问题。该方法复用预训练视频世界模型作为单前向传播骨干,利用可学习 token 由下一帧相对深度监督来塑造共享的视频表示,从而将空间知识转化为未来感知的动作生成表示。
针对手术数据稀缺且评估协议碎片化的问题,本文提出两阶段框架:SurgKnowBench 基准整合公开数据集以评估预训练多模态大语言模型(MLLM)的手术能力边界,发现当前模型在关系与流程理解上存在短板;SurgAgentGym 环境允许通用智能体在不进行额外手术训练的情况下,通过工具介导的证据检索提升推理时的理解效果。
本文提出 GenRM-Flow 框架,论证视频生成模型的微调目标(如 DPO、RWR)在数学上等价于利用生成器的速度预测误差作为奖励信号。该框架使偏好调优后的生成器直接在噪声潜空间充当过程感知奖励模型,无需依赖外部视觉语言模型或辅助评分头。理论分析表明不同优化路径均指向同一最优策略,且提取的过程奖励可无缝替代 FlowAWR 中的外部评分器,从而在不增加额外网络的情况下提升下游视频生成效果。
论文提出了 TransArt3D 框架,旨在解决仅凭少量图像重建可交互三维关节资产这一高度欠约束问题。该方法利用视频扩散模型捕捉物体在状态间运动的先验,将其转化为显式的部件结构和关节运动学。
DeepSoMo 是一种基于学习的框架,利用自监督潜在预测约束在部分可观测条件下估计软体机器人的可变形物体运动。该方法在高保真有限元仿真环境中评估,相比架构匹配的循环基线模型,在轨迹估计、姿态恢复、形状重建及接触推断上均表现一致提升。论文为 arXiv 预印本(arXiv:2611.11242),目前处于实验阶段。
论文提出 DexForesight 框架,通过在灵巧策略潜在空间中注入动力学感知的世界表征来学习隐式空间前瞻性。该方法利用离线场景深度、运动学手几何和演示轨迹训练动作条件化的空间世界模型,预测三维手部点运动和视觉特征变化(包括相机遮挡的手指)。
MOSU2 是一个长距离导航系统,通过两阶段轨迹选择机制解决公共户外空间的复杂导航问题。第一阶段基于上下文推理决定何时需要额外证据并检索信息,仅在交互未决时触发第二阶段获取几何与动态信息以对齐场景背景进行决策。
SurgWorld 提出一种视频原生的自监督框架,利用 Out-of-Sight Dynamics Modeling 和 Geometric Visual Similarity 目标,在 17 个手术基准上超越现有视觉基础模型。该工作提交至 IEEE 待发表,代码与权重暂未开放,专注于捕捉直接观测之外的潜在手术动态。
针对高保真激光雷达仿真在结构控制与时序一致性上的瓶颈,本文提出了 CrossLiDAR 统一框架。该模型基于修正流目标与多模态扩散 Transformer 骨干,通过跨传感器交互模块和 ControlNet 风格分支支持结构条件输入(如 BEV 先验或 3D 边界框),并采用自回归方式扩展短序列以增强长时序连贯性。
SoftPAT3D 框架通过物理仿真为生成的可变形物体构建静水密碰撞网格与弹性参数,解决了现有管线仅支持刚体且无法处理自相交几何的问题。在全部六十五个提示词测试中,该系统实现了零非预期穿透,并支持场景编辑与机器人操作任务。该预印本论文包含 33 页内容、13 张图示及完整代码权重开放许可。
该论文提出全物体流(3D full-object flow)表示,将稠密 3D 轨迹分配至目标物体完整表面(含遮挡区域),统一适用于刚性与柔性物体。作者构建了一个包含 1210 小时视频与物理仿真的数据集,并训练了接收图像与任务描述、预测全物体流的世界模型。实验显示该表示具有可靠的标注质量、可扩展的流预测能力,并在新型场景与机器人本体上实现了有效的下游操作。
BAT-WAM 是一种针对世界 - 动作模型(WAMs)的框架,旨在解决灵巧操作任务中关节状态和全手掌触觉观测缺失的问题。该框架通过 RGB 条件化的连续潜在桥梁连接触觉流与动作流,实现双向学习,并利用视觉信息作为连续上下文。
推荐理由:BAT-WAM 框架通过视觉与触觉表征的双向桥梁,在掩码条件下显著降低触觉重建误差,并在真实机器人实验中优于基线。
论文针对视觉语言模型(VLM)作为端到端驾驶规划器时面临的跨城市域偏移问题,挑战了以往将其视为单一数量进行统一对齐的观点。研究通过激活补丁分析发现,域偏移在模态轴(图像与文本 token)和层轴上呈现结构化分布,且层间划分具有架构依赖性和数据集稳定性。
论文提出 Dynamics-Informed Action Learning (DIAL) 框架,旨在弥合潜在世界模型中动态学习与规划应用之间的差距。该方法在训练阶段通过 rollout alignment 让前向模型接触自回归预测的潜在状态,并利用多步逆动力学监督训练轻量级逆动力学头;测试时利用该头构建动态感知的动作序列以初始化交叉熵方法(CEM)搜索分布。
论文提出 Latent-WAM++,一种面向端到端自动驾驶的以表征为中心的世界动作模型(WAM)。该方法通过场景 - 自车未来预测、SIGReg 分布稳定化及冻结几何先验构建世界表征;利用改进的 MeanFlow 速度空间目标直接预测多模态轨迹提议并实现一步采样;同时对齐视觉语义衍生的停止梯度目标以优化预输出动作特征。
推荐理由:该工作提出 Latent-WAM++,通过重塑中间表征监督与冻结几何先验,在 NAVSIM v2 实现 SOTA 性能并将端到端规划器训练成本降低 88.1%。
该研究针对无标签视频学习动作的潜在动作世界模型,探索了其在不同身体结构(如猫、Blob 和人类)间的动作迁移可行性。实验在包含六种身体计划的合成基准及 DeformingThings4D 数据集上验证,发现固定相机下基线屏幕运动得分高达 0.71,而跟随相机的最佳模型对未见动物家族仅得 0.46。
论文提出 Grip, Trace, Write 框架,构建力感知仿真环境以解决传统刚性安装笔的局限。该方法采用双分支 Actor 解耦握笔稳定性与手臂腕部书写动作,保留闭环耦合关系;训练流程先通过行为克隆初始化逆运动学演示,再利用墨水、接触力、时间和握持奖励进行强化学习优化。实验表明该策略在多种任务中提升了完成度、精度和效率,且无需微调即可泛化到未见过中英文内容,为灵巧工具使用提供了测试基准。
推荐理由:该工作提出力感知仿真环境,通过双分支策略解耦握笔与书写并强化学习优化,在未见中英文内容上实现泛化。
针对远程非结构化环境中硬件或任务变更导致策略失效的问题,文章提出利用世界模型预测更新后的环境条件以评估现有策略,避免物理执行候选方案带来的风险。研究明确了基于模型的策略重评估、验证预测与实测性能一致性以及融合共享信息支持团队协同适应等关键优先事项。该观点旨在推动世界模型在部署后多目标适应领域的进一步调查与应用。
该论文提出 Mental Simulation Collapse (MSC) 现象,指出当前多模态大模型在潜在空间进行视觉推理时,往往仅通过文本路径计算答案,内部生成的视觉潜变量对结果影响微乎其微。作者引入 AnchorSim 对比蒸馏框架训练模型,使生成的视觉潜变量变得关键,从而在多模态推理基准上提升性能并修复该失效模式。
推荐理由:本文揭示了潜在多模态推理中的‘思维模拟崩塌’失效模式,并提出 AnchorSim 框架使内部视觉状态对预测产生实质性影响。
该论文针对自然语言指令驱动的内部模拟规划任务,提出了统一的共享任务 LCWM 及包含 15 个数据集的基准 LCWM-Bench。作者引入了 Tiresias 智能体,通过选择性想象机制结合扩散策略、轨迹排序器与视频预训练世界模型实现高效规划。实验表明该方法在导航、机器人、3D 游戏和驾驶等多域任务上具有竞争力的性能,为研究语言引导的世界模型规划提供了统一评估起点。
Qwen3-VL-8B-Instruct 在零样本提示下对 1,824 张合成图像和 45 帧受控燃烧实验视频进行结构级火灾威胁识别,有效输出准确率分别为 94.0% 和 69.2%,显著优于随机基线。模型在视觉特征清晰时能准确识别目标,但在复杂场景中解读空间关系存在困难。该双轨测试协议为评估视觉语言模型在物理火场条件下的行为提供了可扩展的压力测试与受控参考基准。
LSRP* 是一种新型 anytime 规划器,能在获取初始解后持续优化直至预算耗尽。该算法在最多 1000 个智能体的多种地图测试中,可处理比 LSRP 多 25% 的智能体并将解成本降低最高 40%。研究针对传统同步动作假设的局限性进行了改进与验证。
该研究提出一种统一惯性编码器,通过运动学 IMU 合成在共享输入空间下联合训练人类与类人机器人数据,结合连续时间编码及传感器随机化。模型无需物理仿真、真实机器人训练轨迹或微调,即可零样本迁移至宇树 G1 实体机器人,在五个数据集上实现最低速度误差(G1 实机为 0.099m/s),并支持仅基于人类数据训练的类人机器人运动描述检索与泛化。
推荐理由:提出统一惯性编码器,实现从人类运动到宇树 G1 机器人的零样本迁移与速度估计。
该论文提出一种实时物理参数估计器,用交互驱动的高斯混合后验替代固定语义类索引,直接基于连续视觉嵌入检索和加权历史交互。方法包含支持感知的融合机制以应对稀疏数据,并通过学习到的嵌入优化提升检索相关性。实验显示该方法能恢复多模态物理信念、拒绝无关历史且不依赖空间地图离散化;在高保真自动驾驶赛车仿真中,控制器随圈数增加积累证据而自适应调整,提升了性能并保持摩擦感知行为。
该研究利用公开的新闻走场视频,验证了生成式世界模型结合 3D 高斯泼溅技术将普通影像转为度量级可探索 3D 场景的可行性。实验显示,商业世界模型在少量帧输入下能恢复相机姿态与深度并融合为约 74.7 万个高斯泼溅点,但在未观测区域外推失败且需脚本填充;本地优化的高斯泼溅虽真实但仅在拍摄路径附近有效。
该论文提出利用视觉语言模型(VLM)构建“合成购物者”,在购物篮层面复现了真实家庭在不同国家的消费模式,并在货架选择层面发现并消除了位置与标签带来的干扰效应。作者引入了 ShelfSight 基准平台,通过独立渲染产品、位置和价格来分离偏好与回答效应,使 VLM 能像预算型消费者一样对价格和陈列做出响应。
论文提出 MechEval 基准和 WARC 模型,研究世界模型在陌生环境中通过有限交互学习新机制的能力。结果显示,WARC 模型在半数情况下仅需约 80 次曝光即可达到 80% 的预测准确率,且测试时训练能将闭环探索效率从 0.15 提升至 0.46。该工作为 ARC Prize 2026 论文赛道投稿,代码与权重已开源。
推荐理由:该研究在 ARC-AGI-3 基准上量化了世界模型学习新环境机制所需的曝光次数,并展示了测试时训练对闭环探索效率的提升。
百度Apollo在深圳AI Day首次披露智能体驱动的全模态世界模型Apollo World,提出“2+3”判断标准以支撑高安全要求的自动驾驶验证。该模型具备因果性、交互性及物理准确性等核心能力,支持行程级闭环测试与多场景按需复现,旨在降低真实路测成本并加速车端迭代。
该综述调查了多模态推理、生成、GUI/Web 导航及具身操作四种场景下,无需人工标注的自进化机制在跨场景转移时的不对称性来源。研究将自进化定义为包含经验生成、反馈获取与更新整合三阶段的循环,并分析稀缺因素组合如何限制不同方向的能力迁移。文章提出通过匹配预算测量来推翻当前未验证的结论,共 44 页含 15 张表格和 4 幅图表。