WorldScape Policy 2.0:基于推理增强记忆与上下文学习的可控制世界动作建模
该论文提出 WorldScape Policy 2.0,一种具备推理增强长期短期记忆的受控世界动作模型(WAM)。其因果短期视觉记忆提供局部交互动态,长短期事件记忆组织历史 VLM 输出以支持进度感知检索。
该论文提出 WorldScape Policy 2.0,一种具备推理增强长期短期记忆的受控世界动作模型(WAM)。其因果短期视觉记忆提供局部交互动态,长短期事件记忆组织历史 VLM 输出以支持进度感知检索。
针对端到端策略在高精度接触任务中脆弱且泛化差的难题,本文提出一种模块化方法,利用机器人自主在真实环境中采集接触密集段的数据,并通过离线强化学习转化为高效策略。该方法将局部策略与传统运动规划结合以解决长视界装配任务,在四个真实世界任务中仅需 2-2.5 小时自主数据采集即可实现 96% 的平均成功率(对比纯规划基线为 55%,最强端到端基线为 37%),并将施力降低 49%。
论文提出 PAKE 框架,将全身操控分解为部分参考运动生成与底层模仿控制。引入基于大规模数据集训练的运动学归一化流模型以生成多样化参考,高层控制器在潜在空间导航以利用冗余解,底层控制器执行动态一致运动。系统在四足机器人加六自由度机械臂上验证,仿真基准测试优于基线,硬件部署在 24 次任务中实现末端位姿跟踪误差 4.5 cm 与 0.14 rad,同时保持移动跟踪精度。
针对视觉语言动作模型在异步推理中因延迟导致动作与场景状态不匹配的问题,该工作提出 DEFLECT 离线后训练框架。该方法利用轨迹数据中预测时刻不可用但记录可用的执行时刻观测值,构建时序对比以生成偏好监督信号,从而优化策略对陈旧输入的适应性。
论文介绍了 Kamino,这是一个基于 NVIDIA Warp 和 Newton 框架实现的 GPU 物理求解器,旨在解决复杂机械系统中强耦合的运动学与动力学约束问题。
推荐理由:该工作提出基于 GPU 的刚性多体物理求解器 Kamino,原生支持运动学闭环与异构机器人批量仿真,为强化学习策略训练提供了高保真环境。
该论文介绍 Planning Under Noise (PUN),这是一种学习噪声感知价值场的神经算子,用于在不熟悉几何结构中进行规划。研究针对随机最优控制中的边界条件与梯度计算挑战,提出使用反射 Neumann 条件和 Dirichlet 目标条件,并将 Monte Carlo 求解器扩展至高维。
该研究提出一种分布式车队控制器,保障多车系统在无信号灯路口实现安全且平滑的穿越。通过闭环路径设置与切换系统指数收敛分析,证明在温和增益条件下可确保瞬态期安全及稳态期同速避撞。有效性已在高保真 CARLA 仿真器中利用多款商用车辆模型得到验证。
针对现有方法依赖简化表示而忽视细节几何的问题,该工作提出 GALA 模型,通过显式点云感知实现细粒度支撑与包含约束推理。模型采用两阶段训练策略对齐几何与文本模态,并在多源场景数据集上显著优于基线。此外,团队开发了基于模型的文本驱动场景生成智能体管线,相关数据集与代码将开源。
推荐理由:该工作提出融合点云感知的几何语言模型,解决细粒度放置约束推理难题,并开源多场景数据集与计划 - 放置 - 验证智能体管线。
针对部分可观测性下无人机导航及远程接管后恢复自主性的挑战,本文发现标准循环策略在中断后会因上下文改变导致任务变量解码困难且增加碰撞风险。为此提出三种中断感知架构,通过独立特征流、专用中断记忆或门控环境特征来条件化循环处理。仿真结果显示,最强架构相比基准将中断后的碰撞减少 74%,任务失败降低 69%,且不损害无中断时的性能。
arXiv 论文 KPHarness 提出一种框架,通过知识探测共进化适应冻结的视觉语言动作模型的外部执行机制。该方法利用恢复知识生成干预假设并指导主动探测,依据探测结果修正知识库与策略选择,实现了快速策略执行与慢速研究循环的分离。实验在 Minecraft 任务上显示,该框架相比裸策略执行、固定手动 harness 及非自适应探测的知识进化方法,均提升了任务覆盖率和未见任务的完成率。
该论文作为一篇综述,系统回顾了视频世界模型在具身智能中的应用潜力与挑战。文章指出视频模型能生成高保真、物理一致的交互视频,克服了传统物理仿真器的简化假设瓶颈,可作为基础世界模型捕捉细粒度动力学。然而,当前模型仍存在违反物理规律的预测(幻觉)、指令遵循差及数据计算开销大等问题。作者提出了针对安全关键场景的未来研究方向,并提供了精选参考文献列表。
针对现有强化学习与运动追踪方法在泛化性与自然性上的权衡问题,论文提出 AdaDex 框架。该框架核心为 Hybrid Dexterous Mimicking,通过在密集运动追踪环境与稀疏奖励泛化环境并行训练共享策略,将数秒的人类动作转化为具备功能抓取、物体重定向及投掷等能力的灵巧技能。实验表明该方法在仿真与真实世界中均优于基线,并实现了跨模拟器迁移。
推荐理由:提出 AdaDex 框架,利用混合模仿策略将少量人类动作转化为可泛化的灵巧技能,并在仿真与真实世界验证了跨平台迁移能力。
论文介绍 UniWALM,一种将视频、动作与语言统一在单一混合 Transformer 骨干中的世界 - 动作 - 语言模型。该架构通过同步去噪解码子任务与文本记忆,无需外部规划器或记忆库即可实现语言作为记忆的闭环。
推荐理由:UniWALM 在统一架构下实现语言记忆闭环,无需预训练语言或推理模型即可提升操作成功率。
论文介绍 IndustrialReMEmbR 系统,旨在解决仓库机器人车队在保留观测语义记忆时的高计算、通信和存储成本问题。该系统将 NVIDIA ReMEmbR 架构扩展至车队场景,利用端侧 NVIDIA Jetson 设备通过 Cosmos-Embed1、Cosmos3-Edge 和 Wan2.2 VAE 对视频片段进行编码并提取检索嵌入与重建潜变量,无需上传原始相机帧。
论文提出 REACT 框架,旨在从人机演示中学习可部署的人形机器人交互策略。该方法利用视觉语言模型(VLM)进行语义接触建模与重定向,将人类伙伴的遮挡状态转化为生成式预测目标以弥补感知缺失。研究在仿真及宇树 G1 真机平台上验证了该框架在五种高接触密度交互任务中的有效性,证明其能仅凭机载传感器完成操作。
推荐理由:提出 REACT 框架,利用 VLM 进行接触重定向与生成式伙伴建模,解决人形机器人与人类交互中的严重遮挡问题。
Touch-JEPA 是一种从手物交互视频中学习触觉表征的框架,旨在解决触觉测量成本高、覆盖受限的问题。该方法首先引入自监督预训练目标,仅利用视频数据预测手部表面位置的掩码视觉特征以捕捉潜在接触动力学;随后扩展为联合表征学习,在全部视频上进行掩码预测的同时,仅在标注子集上使用触觉数据进行监督,将共享表征锚定在实际测量的接触与强度上。
针对对象 - 目标导航任务中检测器易误判及候选体被遮挡的问题,该研究提出 CLOSER 框架。该方法微调开源 VLM 对多视角候选体进行目标、非目标或不确定标注,利用嵌入多样性门控选择互补视角并融合概率;若仍不确定则驱动智能体仅凭掩码和深度信息接近候选体直至决策明确。
推荐理由:该工作提出证据感知的主动验证框架,通过微调开源 VLM 与扩散策略结合,在不重新训练现有导航系统的前提下提升目标导航成功率。
该论文提出 GPT-as-Tactile-Policy 方法,利用 GPT-6-Astra 结合多模态观测与交互历史生成控制指令以调整操作。在无需额外机器人专用预训练或任务微调的情况下,该方法在五项 UniVTAC 接触丰富操作中实现 93.8% 平均成功率,其中插入孔洞任务成功率从 31% 提升至 99%。
论文针对世界动作模型在长程操作中易出现‘阶段混淆’的问题,提出了 TaskWAM 框架。该框架利用 Mode Tokens 表征细粒度任务需求,结合 State Tokens 追踪执行进度,形成结构化任务状态以引导生成预期的未来轨迹。研究构建了 StageBench 基准并在仿真与真实世界中验证了该方法能有效减少混淆且具备跨异构机器人架构的即插即用能力。
推荐理由:提出 TaskWAM 框架解决长程操作中的阶段混淆问题,并通过 StageBench 基准验证了其在异构机器人架构上的通用性。
CAPSafe 是首个评估具身智能体在复杂危险家庭任务中安全推理能力的基准,包含测试单步动作安全性的行动级数据集和评估长程规划的计划级数据集。对九款闭源及开源大语言模型的评测显示,最佳模型识别不安全动作准确率超 90%,但 Gemini-3-pro 以 78.19% 的最高成功率仍难完全解决长序列安全规划难题。该研究揭示了从危险识别到稳健长期规划之间存在显著差距,相关预印本已公开于 arXiv。
该研究对 GPT-6 Astra 模型进行系统评估,发现其在 RoboDojo 和 RoboTwin 2.0 等基准上表现尚可,但在几何约束任务、精确动作规划及物理安全方面存在明显短板。作者提出了新基准 LIBERO-GeoMotion 以考察空间理解向可行运动的转化难度,并通过真实实验证实了模型在运动可行性与控制精度上的不足。
arXiv 论文提出一种用于多机器人协作的安全通信包装器算法,该算法利用各机器人上的异常检测器生成的信任值流,通过 Safe Anytime-Valid Inference 方法筛选出可信链路。
推荐理由:提出一种基于信任值的通信包装器算法,能在存在恶意链路的情况下以高概率排除受损连接并快速恢复对合法链路的信任。
该论文指出,尽管增强的视觉语言动作(VLA)驾驶模型能感知危险并推理安全,但轨迹生成仍受自身速度历史主导,导致无法及时制动。作者通过在冻结的流匹配采样器中注入条件化能量,在不修改权重的情况下成功修复了 Alpamayo-1.5 模型的制动失效,将障碍物侵入率从 58.1% 降至 14.5%,并在闭环测试中消除了碰撞。
推荐理由:原文揭示了感知与行动解耦问题,并通过注入条件能量在无需重训的情况下修复了 Alpamayo-1.5 模型的制动失效。
研究提出 Generative Plan Latent(GPL),将 VLA 模型的中间决策表示为低维条件分布,支持在不重训情况下对多方案进行采样、按需选择及结果自适应。
研究针对 HAKUTO Rover Flight Model 设计了热接口方案,通过解析模型与数值仿真优化了电子设备安装位及太阳能板角度。最终在真空环境中完成热平衡测试,确保 rover 质量低于 4 kg 并满足月球辐射等热学条件。该成果已在德国不来梅举行的第 69 届国际宇航大会(IAC)上提交论文。
论文针对级联世界 - 动作模型(WAMs)继承扩散预训练专家带来的昂贵迭代推理问题,提出 DirectWAM 方法。该方法通过动作充分蒸馏将预训练的视觉和动作专家转化为单步预测器,无需随机采样即可支持准确的单步动作预测。研究在四个 LIBERO 套件上平均成功率达 97.1%,在 RoboTwin 2.0 上为 85.4%,优于 Flash-WAM,并将推理延迟降低了 28 倍。
该论文针对机器人部署中的安全与任务可行性问题,提出了一种名为 PVF 的自监督方法,用于计算在随机且可能无界扰动下的可达避免集合。相比传统处理对抗性扰动的哈密顿 - 雅可比方法,该方法能提供更准确且不保守的概率集,并在包括 Hopper 运动控制在内的复杂系统中进行了评估验证。
论文提出 PACT-VLA,一种无需训练的动作策略优化框架,旨在解决 VLA 模型在异步推理中因观测滞后导致任务成功率下降的问题。该方法利用推理延迟作为决策时间,通过 FlowRes 评分函数从候选动作中选择最适配当前观测的序列,并在 Kinetix 和 LIBERO 基准上显著提升了平均成功率。
LocoPilot 是一个在 Unitree Go2 四足机器人搭载 AgileX Piper L 机械臂上实现的单操作员双边遥操作与数据收集框架。该系统利用第二只机械臂作为领导者及两个手持控制器,同时控制基座、身体姿态、机械臂和夹爪;通过被动约束的触觉通道向操作员渲染估计的作用力,无需专用力/扭矩传感器。
论文提出了 HuTact 框架,旨在解决灵巧操作中机器人端数据采集成本高的问题。该方法通过预训练将人类手物交互中的动作结构迁移至机器人触觉观测,无需真实触觉信号即可初始化模型。
推荐理由:该预印本提出利用大规模人类手物交互数据作为先验,显著提升了机器人触觉感知与操作任务的数据效率。
论文提出 EgoACT 测试时框架,旨在将语义动作从自观视角中解耦并在新的视觉上下文中复现,以支持可扩展的世界仿真和具身策略学习。现有基于条件引导的视频生成方法引入几何估计误差,而运动迁移方法难以编码丰富的接触动力学。
该论文通过 PointHand 遥操作界面研究了渲染方式(真实形状、全关键点强调或仅拇指食指强调)如何影响新手演示及后续策略训练。在模拟任务中,展示拇指和食指的新手收集到的成功演示更多且质量更高;基于这些演示训练的扩散策略在共享表征下成功率显著提升。材料为预印本,未报告真实机器人部署结果。
论文提出 Gaze2HOI 框架,将手物交互预测分解为意图推理、接触定位和耦合运动生成三个层级。该方法利用注视强度和时间权重调制视觉语言模型以消除语义歧义,并通过前瞻性接触定位模块明确接触与支持几何信息,进而驱动扩散模型生成六自由度物体轨迹及手部关节运动。
该论文在 RoboColiseum 基准上对 GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5 和 Gemini 4 Argon 四款模型进行了多维度的比较评估。
针对单视角模型无法解决深度与遮挡问题导致 6D 动作解析模糊的局限,该研究提出一种利用同步多相机视图和交叉注意力机制压缩为潜在动作的模型架构。实验显示,双视角预训练相比单视角将真实 6D 动作的可解码性提升 17%,下游策略成功率提升幅度从 +6.2% 增至 +13.5%。
推荐理由:该研究提出多视角潜在动作预训练方法,在跨具身迁移和硬件部署上均验证了视频数据对提升机器人操作成功率的有效性。
该研究构建了 RoboJudge-Bench 基准,包含来自 8 个语料库的 800 条人工标注视频,覆盖机械臂、人手及灵巧手等场景。实验发现通用多模态大语言模型在物理一致性判断上与人类评分对齐度较低,而专为通用领域设计的视频裁判模型未能稳定迁移至具身场景。
论文介绍 World2HOSI 框架,旨在解决长程人机物场景交互(HOSI)任务中单一模型能力不足及高质量数据稀缺的问题。该方法通过构建基于解耦背景与物体资产的持久化三维高斯泼溅(3DGS)场景状态,利用编排器规划动作阶段并调用现有专家模型,同时将动作效果写回以维持世界一致性。
推荐理由:该工作提出多专家编排架构,利用解耦资产与闭环仿真生成高质量长程人机物场景交互数据。
论文提出 VEOcc++ 统一框架,利用持久稀疏体素特征图连接探索阶段的在线增量映射与后续的全局地图优化。该方法在 EmbodiedOcc-ScanNet 数据集上实现 67.12% IoU 和 58.40% mIoU,刷新在线增量映射 SOTA;离线优化阶段进一步提升至 67.79% IoU 和 59.37% mIoU。研究展示了在移动机器人上的零样本部署能力与大规模室内建图的可扩展性。
推荐理由:该工作提出统一框架,通过持久稀疏体素特征图连接在线增量映射与离线全局优化,在 EmbodiedOcc-ScanNet 上刷新 SOTA。
论文提出 CovNav 框架,解决具身智能体在未见环境中寻找目标时大语言模型的效率与精度权衡问题。该方法将空间查询转化为结构化二元决策,利用局部小模型快速判断并引入共形预测量化不确定性,仅对模糊查询调用慢速思维链推理。
推荐理由:该工作提出无需训练的框架,利用共形预测引导大模型在具身任务中自适应切换快慢推理模式。
JARVIS 是一个无需额外语言指令的自主视觉手册引导执行基准,包含 236,679 个 LEGO 装配任务及 50 个交互式评估子集。该工作引入结构感知评估协议以捕捉几何精度与构建顺序,并提出 JARVIS-agentic 智能体利用工具进行程序合成与反馈恢复。实验显示任务导向原语能提升平均得分,但长视界执行性能显著下降且纠错困难,揭示了视觉过程推理与可靠物理执行之间的持续局限。