DreamFormer:一种用于语言条件化机器人操作的 Transformer 世界模型模仿方法
论文介绍 DreamFormer,这是一种通过模仿专家演示来习得语言条件化多任务技能的基于模型的智能体。该模型首先从无结构的玩耍数据中学习任务无关的 Transformer 世界模型,然后在潜在空间中优化内在奖励以对齐生成的轨迹与专家演示。
推荐理由:该工作提出基于 Transformer 的世界模型进行语言条件化机器人操作模仿,在 CALVIN 基准上展示了优于行为克隆的零样本泛化能力。
技术方向
世界状态建模、预测、可控生成与交互;区分视觉生成、空间导航和具备物理预测能力的系统。
574 条精选近 30 天 307 条共收录 1,758 条
论文介绍 DreamFormer,这是一种通过模仿专家演示来习得语言条件化多任务技能的基于模型的智能体。该模型首先从无结构的玩耍数据中学习任务无关的 Transformer 世界模型,然后在潜在空间中优化内在奖励以对齐生成的轨迹与专家演示。
推荐理由:该工作提出基于 Transformer 的世界模型进行语言条件化机器人操作模仿,在 CALVIN 基准上展示了优于行为克隆的零样本泛化能力。
论文提出 ReSQ-MPPI 方法,通过离线计算的 HJR 价值函数引导在线 MPPI 采样,并利用 SQP 迭代对全阶 MPC 问题进行修正以保障安全。仿真在杂乱导航和自动驾驶赛车环境中验证了该方法优于独立 MPPI、MPC 及可达性过滤基线。
推荐理由:提出 ReSQ-MPPI 架构,结合离线可达性价值函数与在线 SQP 修正,在仿真中提升安全与性能。
该论文介绍了 PhysMamba,这是首个基于选择性状态空间模型(SSM)的肢体模拟器,能够仅凭位置、旋转和关节动作历史预测下一帧全身状态,无需速度输入。研究对比了四种架构及三种训练协议,发现从头开始的 rollout 训练在部分观测下为 Mamba2 提供了优异的短中期精度(s10=43mm),而两阶段教师模型方案则导致其不稳定。
推荐理由:论文提出首个基于选择性状态空间模型的肢体模拟器,在部分观测下表现优异且具备低延迟推理能力。
论文 SUAVE 提出了一种名为 SUAVE 的单词汇统一动作 - 视频模型,利用掩码扩散 Transformer 同时处理语言、视频和动作模态,并将三者表示为共享序列中的离散 token。
推荐理由:SUAVE 提出基于掩码扩散的统一架构,在单一网络中通过推理时的掩码选择实现世界建模、策略生成与视频预测的切换。
Geoffrey Hinton 与 Yoshua Bengio 等 22 位学者发表论文《What if automating AI R&D triggers an intelligence explosion?
推荐理由:辛顿领衔团队发布首篇递归自我改进论文,论证AI研发自动化可能触发软件驱动的智能爆炸。
该论文提出‘普朗图任务算术’框架,通过引入与架构无关的‘通用任务描述符’矩阵,实现不同预训练模型间任务更新的传输与组合。实验在六种模型家族、八个任务及音频文本模型上验证,显示跨模型转移能保留目标模型自身描述符所得增益的 74% 至 80%,支持通过最小二乘法求解线性算子或低秩适配器进行实现。
推荐理由:提出跨架构任务向量传输方法,在六种模型家族上验证了通用任务描述符的有效性。
论文提出了 AR-WAM,这是一种视觉条件化、无需语言编码器的 0.5B 参数世界动作模型,通过视觉定位框和操作 token 替代自然语言指令来控制机器人操作。该模型在 RoboTwin 2.0、RMBench 及真实 Astribot S1 双臂平台上表现优异,标准操作任务平均成功率达 85.7%,长程记忆依赖与真机任务分别提升 5.9% 和 36.7%,同时保持最低推理延迟(14.1 ms)。
推荐理由:该工作提出视觉条件化的 AR-WAM 模型,在仿真与真机长程任务中均优于基线,且推理延迟最低。
论文介绍 DriftWorld,一种基于漂移生成模型的行动条件世界模型,旨在解决扩散模型因多步迭代去噪而成本高昂的问题。该模型在训练中学习条件漂移,推理时仅需单次前向传播即可为给定动作序列生成未来观测。
推荐理由:DriftWorld 通过漂移生成模型实现单次前向传播生成未来观测,在多个机器人基准上速度提升 12 倍以上且保持视觉质量。
论文提出 CROSS 方法,旨在解决机器人面对外观和场景变化时如何重用过去观测的问题。该方法在视觉地物识别与地图更新之间引入预承诺定位层,将 RGB-D 检索提升为候选全局 SE(3) 位姿模式,利用有界高斯混合滤波器结合里程计传播竞争轨迹分支,仅保留物理一致的持续分支进行闭环。
推荐理由:CROSS 通过引入预承诺定位层,将模糊处理从离散 ID 移至连续位姿空间验证,在光照、季节及动态场景变化下提升稀疏记忆复用率。
该论文提出了 ProWAM(Progressive World Action Model),旨在解决现有世界动作模型在长视界预测中效率低及缺乏目标导向的问题。该方法联合预测动作与有序的稀疏视觉子目标,利用大规模无动作视频训练视觉骨干网络以卸载复杂规划任务,仅需轻量级去噪即可生成高效动作。
推荐理由:提出 ProWAM 架构,通过稀疏子目标序列引导动作生成,在仿真与真实机器人零样本实验中均取得优于基线的结果。
论文介绍 GlanceWAM,一种基于共享视频 DiT 骨干的异步世界 - 动作模型架构。该方法将视觉想象解耦为后台慢速时钟运行的异步提议器,在潜在空间解码动作块,从而打破同步生成带来的延迟瓶颈。
推荐理由:该工作提出 GlanceWAM,通过异步解耦视觉想象与动作控制,在 RoboCasa 和 LIBERO 基准上实现实时推理与高成功率。
论文指出 JEPA 虽能预测高层语义动态,但易丢弃动作的物理后果导致信息坍塌。作者提出 AVL 方法,利用执行动作作为动力学锚点并引入视觉不变性路径,强制模型保留并利用因果动力学信息。实验在四个机器人控制任务上验证了该方法在视觉扰动下显著提升成功率且保持清洁环境性能。
推荐理由:针对 JEPA 在保留物理因果信息上的失效,提出动作锚定与视觉不变性路径的改进方案。
arXiv 论文发布 XGenAct 模型,该工作旨在解决现有世界动作模型在机器人操作中对空间理解不足的问题。作者提出将 RGB、深度、法线和功能分割统一表示为 RGB 视频,利用单一视频扩散 Transformer 进行跨模态时序预测,无需特定模态的独立头。
推荐理由:该预印本提出通过确定性编码器将深度、法线和功能分割统一为 RGB 视频,利用单一扩散 Transformer 进行跨模态时序预测。
论文介绍 NAVA-WAM 方法,旨在解决世界动作模型依赖动作标注数据可扩展性受限的问题。该方法直接从仅含观测的视频中预训练动作策略,无需间接表示迁移或单独的动作潜变量模型。
推荐理由:提出 NAVA-WAM,通过原生动作先验直接从观测视频预训练策略,无需动作标注即可实现机器人控制。
论文提出 KungfuAthleteBot(KAB)框架,旨在解决将视频中丰富的高动态人类动作迁移到人形机器人时的物理不一致、缺乏执行信息及无法处理失败与恢复三大难题。
推荐理由:该框架提出物理引导的轨迹修正与伪低动能采样机制,解决视频数据物理不一致问题,使机器人能从视频学习高动态动作并实现约 0.7 秒的统一策略跌倒恢复。
该研究指出,学习到的视觉奖励模型在优化机器人策略时,可能同时提升任务成功率与错误对象失败率,导致监控信号失真。通过在抽屉操作任务上微调扩散策略并对比不同训练信号,实验证实了这种放大效应源于特定分布偏移,且现有成功终止配方存在继承性误差。作者提出冻结结果验证器可将优化导向正确目标。
推荐理由:揭示视觉奖励模型在机器人策略优化中可能放大错误对象失败的风险,并提出冻结结果验证器作为修正方案。
这篇论文提出了 Spatial Memory Intelligence (SMI),这是首个系统性地利用理解模型来管理长视频世界模型中空间记忆的框架。针对记忆序列增长和结构复杂化的挑战,SMI 引入了四个协同的原子操作:空间聚类、簇内稀疏化、动作感知检索以及可靠性感知过滤。实验表明该方法在多种基线、基准和世界模型骨干网络上均有效,显著提升了记忆稀疏度、生成稳定性和空间一致性。
推荐理由:该框架首次将理解模型用于长视频世界模型的时空记忆管理,通过聚类与稀疏化操作提升生成稳定性。
arXiv 论文介绍 PEWAM 模型,该模型将机器人演示中的物体变化编译为独立于操作臂的效果程序(3D 关键点轨迹、持握点及终态配置)。在 LIBERO-Goal 任务中,基于单一演示的程序完成 40/90 集数,优于目标图像或语言条件的方法;在 Meta-World 部分类别上超越现有最佳结果。该程序支持人工编辑(平移终端状态、旋转接触点),且无需重训练即可在四款机械臂上运行。
推荐理由:该工作提出 PEWAM 世界动作模型,将机器人演示编译为可编辑的效果程序,实现从效果到执行的闭环推理与跨机械臂复用。
该论文针对现有世界 - 动作模型缺乏显式子任务推理的问题,提出了 Visual Goal-conditioned Action Reasoning (ViGAR) 分层框架。
推荐理由:提出分层框架将长程任务拆解为视觉子目标规划与执行,支持上下文学习与物理先验共享。
论文提出 ProAct 框架,针对现有基于流的 VLA 策略因生成源未受近期执行或未来演化条件约束而丢失局部连续性的问题,引入轻量级提案专家与前瞻性世界专家。前者将近期动作转化为场景感知假设以保留运动连续性,后者预测任务一致的潜在未来并校准各向异性生成源。
推荐理由:提出 ProAct 框架,通过世界校准的提案到动作流解决生成源不可预测问题,在仿真与真实任务中提升性能并降低推理延迟。