World-to-Wrist:面向细粒度机器人操作的基于任务的手腕未来建模
论文提出了 World-to-Wrist VLA(W2-VLA)模型和 W2-CoT 合成管道,旨在解决视觉语言动作模型忽视手腕视角独特作用的问题。该方法利用多视图观测和任务指令构建潜在接口,预测手腕局部交互的未来演化以辅助动作生成。
论文提出了 World-to-Wrist VLA(W2-VLA)模型和 W2-CoT 合成管道,旨在解决视觉语言动作模型忽视手腕视角独特作用的问题。该方法利用多视图观测和任务指令构建潜在接口,预测手腕局部交互的未来演化以辅助动作生成。
论文介绍 DriftWorld,一种基于漂移生成模型的行动条件世界模型,旨在解决扩散模型因多步迭代去噪而成本高昂的问题。该模型在训练中学习条件漂移,推理时仅需单次前向传播即可为给定动作序列生成未来观测。
推荐理由:DriftWorld 通过漂移生成模型实现单次前向传播生成未来观测,在多个机器人基准上速度提升 12 倍以上且保持视觉质量。
该论文提出了 ELSA3D 模型,通过弹性语义锚点机制解决文本与 3D 交互隐式的问题。模型利用感知尺度的八叉树分词器表示几何结构,引入稀疏跨模态锚点单元选择语义线索并路由至相关尺度,实现计算与推理的弹性分配。该方法在图像到三维生成、文本到三维生成及三维描述任务上达到最先进水平,相比非弹性版本将 FLOPs 和推理延迟减半。论文已被 NeurIPS 2026 接收。
针对通用机器人策略缺乏置信度量化机制的问题,本文提出利用小集成模型的速度场分歧(VFD)来高效量化认知不确定性。实验表明,该方法能更准确地预测下游性能并检测故障,准确率比现有方法高 8 个百分点;提出的 SAVE 方法结合不确定性引导的主动多任务微调,在固定演示预算下将三个真实任务的平均成功率从 39% 提升至 47%。
该论文提出 AgenticNav,将连续环境中的零样本视觉 - 语言导航(VLN-CE)重构为连接大模型与环境代理的工具接口。系统通过可调用的动作、深度和记忆工具,分别实现像素级目标选择、按需距离查询及图文结合的回忆机制。
论文研究如何在无围栏、夹爪或机械止动条件下,将轮足四足机器人的动态运物能力从单个自由滚动球体扩展到多个同时运输的球体。针对标准历史拼接编码器无法显式处理每帧内球体顺序可变导致的置换对称性失配问题,作者提出 Per-Frame Deep Sets 架构,证明其具有帧间不变性并能通用逼近连续策略。
论文提出 CROSS 方法,旨在解决机器人面对外观和场景变化时如何重用过去观测的问题。该方法在视觉地物识别与地图更新之间引入预承诺定位层,将 RGB-D 检索提升为候选全局 SE(3) 位姿模式,利用有界高斯混合滤波器结合里程计传播竞争轨迹分支,仅保留物理一致的持续分支进行闭环。
推荐理由:CROSS 通过引入预承诺定位层,将模糊处理从离散 ID 移至连续位姿空间验证,在光照、季节及动态场景变化下提升稀疏记忆复用率。
针对现有方法缺乏跨时间推理能力的不足,本文提出一种能进行时空语义推理的方法,其核心是集成在 3D 场景图中的 Perpetua* 滤波器,用于对随时间观测到的环境状态进行贝叶斯推理。
针对动态开放世界中自主智能体因缺乏操作符而无法应对新物体的问题,本文提出一种神经符号架构,整合符号规划、强化学习与大语言模型(LLM)。该方法利用 LLM 的常识推理能力识别缺失的操作符,由符号 AI 规划器生成计划,并编写奖励函数引导强化学习智能体学习控制策略。研究在连续机器人操作任务中表现优于现有最先进方法。材料为预印本论文,已接受于 IEEE/RSJ IROS 2026。
论文提出 FAME 框架,旨在解决全尺寸人形机器人在外部手部受力下保持平衡的问题。该方法通过隐式编码上肢关节构型与双手动交互力,利用刚体逆动力学在线重构交互力而无需腕部传感器。实验在 MuJoCo 厨房环境及 Unitree H1-2 真机上验证,在 150mm 容差下任务成功率达 38.9%,显著优于未编码力或仅基于姿态的基线策略。代码与视频已开源。
针对非平稳环境真值,提出基于不变性时间尺度的分层记忆保留机制,区分需永久保持的物理规律与随环境变化的实例事实。该方法通过联合报告不变量回归测试与修订延迟来评估性能,避免了传统指标将正确更新误判为灾难性遗忘的缺陷。该研究已被 NeurIPS 2026 持续世界模型研讨会接收,相关代码与数据开放许可待注册。
Self-Repairing Recurrent Ensembles 方法让策略在传感器漂移或失效等分布偏移下,无需专家标签即可在线自我恢复性能。该方法利用随机掩码的循环网络集合与卡尔曼融合生成共识动作作为自监督标签,结合 RFLO 算法实现每步环境交互的参数更新。仿真连续控制任务显示,相比全观测集合无法恢复的情况,该框架能接近原始表现并支持有专家时的遥操作模仿学习。
该论文针对扩散模型数值求解器的时间离散化问题,提出一种基于噪声归一化误差估计的比例 - 积分(PI)步长控制算法。该方法利用历史误差信息实现更平滑的步长适应,并进一步证明单样本轨迹可聚合为固定调度表。
论文提出 VIGOR 框架,旨在解决基于模型的强化学习(MBRL)在面对背景变化、光照改变或相机位移等未见过的视觉干扰时性能下降的问题。该方法通过集成不对称弱到强增强、动力学层级一致性以及编码器层级稳定化三个组件,实现了在保留 MBRL 样本效率的同时具备零样本泛化能力。
该论文提出了 ProWAM(Progressive World Action Model),旨在解决现有世界动作模型在长视界预测中效率低及缺乏目标导向的问题。该方法联合预测动作与有序的稀疏视觉子目标,利用大规模无动作视频训练视觉骨干网络以卸载复杂规划任务,仅需轻量级去噪即可生成高效动作。
推荐理由:提出 ProWAM 架构,通过稀疏子目标序列引导动作生成,在仿真与真实机器人零样本实验中均取得优于基线的结果。
论文提出了一种完全离线的学习方法,利用视觉语言模型对已记录的生物干预及其观测结果进行匹配判断,以此作为唯一奖励来训练自然语言到生物干预的映射。该方法在 Xenobot 合成多细胞构造上实现了泛化能力,针对未见指令的测试集准确率达到 80.0%,与直接基于真值标签训练的基线网络持平(66.7% 为随机基准)。研究证明了无需新实验或人工验证即可建立语言对生物系统的控制接口。
论文介绍 GlanceWAM,一种基于共享视频 DiT 骨干的异步世界 - 动作模型架构。该方法将视觉想象解耦为后台慢速时钟运行的异步提议器,在潜在空间解码动作块,从而打破同步生成带来的延迟瓶颈。
推荐理由:该工作提出 GlanceWAM,通过异步解耦视觉想象与动作控制,在 RoboCasa 和 LIBERO 基准上实现实时推理与高成功率。
论文提出了 MoSE3,这是首个能从单目 RGB 视频端到端预测像素级 SE(3) 运动的模型,能同时输出旋转、平移及刚体分组信息。为弥补数据缺口,作者构建了 Art-Kubric 大规模合成数据集,包含稠密 SE(3) 和刚性标签以支持物理交互研究。
论文介绍 4DCodeBench 基准,旨在通过代码生成评估智能体从视频中重建动态场景的能力。研究涵盖变形、流体流动和断裂等物理现象的合成场景,发现前沿模型在静态重建上的优势尚未转化为对复杂动力学的可靠重建。该基准为追踪智能体通过代码解释世界动力学能力的进展提供了测试平台。
针对相机控制视频模型在长生成过程中出现的三维不一致(物体失去恒久性、场景结构偏移)问题,本文提出 LoGo 方法。该方法融合全局奖励以维持跟随与画质,同时利用空间局部化奖励进行细粒度信用分配,显著改善三维一致性。
针对建筑行业劳动力短缺与安全挑战,本文提出 CORNAV 框架,在不依赖建筑信息模型(BIM)的情况下,利用 2D CAD 图纸和进度表实现蓝图感知的导航。系统通过层级开放词汇 3D 场景图对齐建筑蓝图以定位物体,将项目进度转化为时间变化的导航约束,并利用基于大语言模型的安全模块在规划前过滤危险区域。
针对前沿大模型推理延迟限制实时控制的问题,研究提出了两种互补方法:一是利用前沿模型结合纠错片段自主生成演示以训练快速本地策略;二是引入涵盖初级、原子和复合三个层级的稠密语言监督。在 RoboCasa 365 和 BEHAVIOR-1K 等长周期任务中验证了该方法能提升指令遵循可靠性,并在固定时间预算的填字任务中评估了两者的结合效果。
针对从第一人称视频中迁移机器人操作知识的难题,本文提出 WING 框架,通过分离观察者运动与手物交互并蒸馏交互成分,利用频域中慢变时态结构对齐人与机器人的共享低频分量以指导动作生成。该方法在 LIBERO、RoboTwin 2.0 和 RoboCasa-GR1 等基准上分别达到 99.20%、93.80% 和 57.7% 的平均成功率,并在多种泛化设置下的真实世界操作任务中表现强劲。
论文指出 JEPA 虽能预测高层语义动态,但易丢弃动作的物理后果导致信息坍塌。作者提出 AVL 方法,利用执行动作作为动力学锚点并引入视觉不变性路径,强制模型保留并利用因果动力学信息。实验在四个机器人控制任务上验证了该方法在视觉扰动下显著提升成功率且保持清洁环境性能。
推荐理由:针对 JEPA 在保留物理因果信息上的失效,提出动作锚定与视觉不变性路径的改进方案。
arXiv 论文发布 XGenAct 模型,该工作旨在解决现有世界动作模型在机器人操作中对空间理解不足的问题。作者提出将 RGB、深度、法线和功能分割统一表示为 RGB 视频,利用单一视频扩散 Transformer 进行跨模态时序预测,无需特定模态的独立头。
推荐理由:该预印本提出通过确定性编码器将深度、法线和功能分割统一为 RGB 视频,利用单一扩散 Transformer 进行跨模态时序预测。
论文介绍 MobiAgent 框架,旨在解决长视界移动操作中累积误差与运动控制干扰问题。其内环通过视觉语言模型进行滚动规划与视觉反思,利用流匹配专家执行原子技能以实现鲁棒恢复;外环则自动对部署流程进行分段验证、聚类发现新技能并持续微调技能库,无需人工标注。
论文介绍 NAVA-WAM 方法,旨在解决世界动作模型依赖动作标注数据可扩展性受限的问题。该方法直接从仅含观测的视频中预训练动作策略,无需间接表示迁移或单独的动作潜变量模型。
推荐理由:提出 NAVA-WAM,通过原生动作先验直接从观测视频预训练策略,无需动作标注即可实现机器人控制。
论文提出 KungfuAthleteBot(KAB)框架,旨在解决将视频中丰富的高动态人类动作迁移到人形机器人时的物理不一致、缺乏执行信息及无法处理失败与恢复三大难题。
推荐理由:该框架提出物理引导的轨迹修正与伪低动能采样机制,解决视频数据物理不一致问题,使机器人能从视频学习高动态动作并实现约 0.7 秒的统一策略跌倒恢复。
针对现有具身世界模型存在‘模型惰性’、重视觉保真而轻物理推理的问题,该研究提出 EVEWorld 框架,通过实例引导恢复(IGR)和时序实例对齐(TIA)提升生成轨迹的物理一致性。
针对接触丰富操作模仿学习需要高质量专家数据的问题,论文提出了 VISTA,这是一种工作空间级别的等变视觉 - 触觉扩散策略。该方法将视觉和触觉观测投影为球形 token,通过置换等变的球谐融合注入触觉接触线索,并利用末端执行器方向旋转融合后的谐波表示,从而条件化一个等变扩散策略以预测空间一致的动作。
该论文探究视频生成模型(世界模型)是否内化了物理原理。作者对视频扩散 Transformer 的内部表示进行探测,发现运动学和刚体动力学等物理量在去噪过程早期即可高精度线性解码,且信息集中在物体相关 token 中并具备部分外推能力。研究还表明这些探测方向可作为 steering vectors 用于改变模型输出。材料为预印本论文,未涉及真实机器人部署或具体产品发布。
该论文提出寄生共去噪(Parasitic Co-Denoising)范式,通过 Parasitic Motion Decoder(PMD)从冻结的 Wan2.1 模型的中间状态解码 3D 运动信号。
TerraVis 框架引入多阶段评估流程,利用 MLLM 检测并量化文生图模型在物体、交互及场景层面的世界一致性违规。该工具在两个基准测试上对开源与专有模型均实现最强的人机相关性,揭示高美学分数模型仍存在显著物理不合理性。代码已公开,论文已被 NeurIPS 2026 接收。
论文介绍 PointWAM,一种将世界分解为场景和手并在共享时空坐标系中预测两者 3D 点轨迹的模型。该方法在大规模人类演示视频上进行预训练,无需任务特定的物体或关键点选择。实验显示,结合场景轨迹监督后,该模型在 DexJoCo 基准上的平均成功率提升显著,并在真实机器人上优于强视觉语言动作模型。材料为 arXiv 预印本,未提及同行评审状态或开源代码仓库。
论文提出了 TerrainForge 框架,旨在从重建的多车驾驶片段中生成聚焦于道路几何的反事实场景。该框架通过统一道路模型连接场景形变与四轮车辆动力学,使路拱、洼地、减速带及摩擦变化能传播至车辆运动、相机视角和车距间隙。
论文提出了一种在 270 克级 MiNI-Q 四足机器人上运行的闭环学习运动方案,利用连续旋转关节的构型范围,通过单一姿态条件强化学习策略实现直立行走、倒立行走及着陆恢复。该网络仅约 10 万参数,能跟踪前向速度并在释放试验中成功恢复行走,支持四种可互换脚部几何形状和四种室内表面。研究包含硬件实验与仿真消融分析,验证了表征选择对利用平台运动范围的有效性。
论文 SymRegFlow 针对现有基于流匹配的多视角世界模型受限于固定相机机架的问题,提出一种无需真实新视角 RGB 监督的对称正则化框架。该方法通过几何变换将源视图映射为噪声锚点,结合掩码双锚点监督与跨锚点去噪输出一致性来缓解误差。
针对具身智能在复杂化学实验中缺乏真实数据且现有仿真难以满足严格流程约束的问题,论文提出了 RoboChemGym 框架。该框架利用自改进任务合成机制,自主生成了与真实实验协议对齐的高保真操作演示,能够可靠地生成超过 10 步交互的专家轨迹。
论文提出了 DeltaWorld 方法,旨在解决现有世界模型在机器人操作任务中难以捕捉细微动作变化、导致物体穿透或过度形变的问题。
论文揭示世界模型特征在近邻去噪步间具有稳定的奇异子空间,提出无需训练的 SpectralCache 框架复用该结构并仅估计低维奇异值。在 HunyuanWorld-Voyager-13B 上实现 5.22 倍加速且静态场景 WorldScore 为 65.90,优于现有免训练缓存方法。