Memento 3:基于反思规则书的模型驱动递归自我改进
论文介绍 Memento 3,使冻结的大语言智能体能通过外部自然语言规则书持续学习显式世界模型并编译为可执行代码。系统通过观察、反思、修订规则、编译和验证的循环,利用预测误差在保持底层大模型固定的前提下实现递归自我改进。
推荐理由:该工作提出通过外部记忆和规则书实现冻结大模型的递归自我改进,在 ARC-AGI-3 上达到人类效率基准。
论文介绍 Memento 3,使冻结的大语言智能体能通过外部自然语言规则书持续学习显式世界模型并编译为可执行代码。系统通过观察、反思、修订规则、编译和验证的循环,利用预测误差在保持底层大模型固定的前提下实现递归自我改进。
推荐理由:该工作提出通过外部记忆和规则书实现冻结大模型的递归自我改进,在 ARC-AGI-3 上达到人类效率基准。
论文介绍 MultiWorldBench 这一基于 Minecraft 的多玩家世界模型诊断基准,包含 495 种配置及七套任务套件。评测显示 Gamma-World 在十项能力平均得分最高(21.39),Solaris 次之(20.88),MineWorld 最低(1.89),而参考引擎 Engine GT 得分为 91.69。
论文 Dex-One2Many 提出一种从单个人类视频学习通用灵巧操作策略的框架。该方法将视频抽象为序列场景图以指导强化学习,利用场景图作为生成约束采样多样化的重置状态并提供密集奖励。模型在仿真中训练后零样本迁移到真实多指手,在五个工具使用与操作任务上,所见配置下超越基线 6.5%,未见场景中差距扩大至 71%。材料为预印本论文,未报告真实机器人部署结果或具体实验条件细节。
该论文评估了以自我为中心的 3 万小时视频数据对世界模型的作用,发现在分布外基准测试中,虽然智能体建模随数据量增加而提升,但物体交互保真度改善缓慢且差距巨大。研究指出单纯依靠数据扩展存在上限,需通过视觉条件设计将容量转向物体动态才能有效缩小差距,相关结论可迁移至人形机器人建模。
arXiv 论文 OuroWorld 提出一种无掩码框架,可将任意静态 3D Gaussian Splatting 场景转化为具有生动、多样化运动且无缝循环的 3D cinemagraph。
论文提出 WorldGuide 框架,旨在解决长程程序化任务中生成需适应实际执行结果的难题。该模型仅凭初始图像和任务目标,预测原子动作并生成对应视频片段,利用生成结果选择下一动作或终止。
针对前沿多模态基础模型在精细操作任务中表现受限的问题,研究指出其根源往往在于物理相机设置导致的空间可观测性不足而非策略能力缺失。为此,团队提出 SpatialHarness 方法,该方法无需微调策略或改动物理感知硬件,通过维护与真实执行同步的在线仿真场景,识别关键空间关系并渲染互补虚拟视图以暴露给冻结的多模态策略。
针对现有视觉语言动作模型依赖固定相机配置的局限,本文提出 VersaCamVLA 框架,通过解耦场景表示与动作学习,利用手腕增强姿态采样技术将任意数量的 RGB 视图映射为统一场景令牌。
论文介绍 VioLA,一种通用类人机器人策略,通过预测身体和手部运动潜变量而非关节命令来规避动作空间耦合问题。该方法利用预训练控制器执行潜变量,并将人类与机器人运动映射至同一潜在空间,从而直接使用 1.406 亿帧(其中 93.2% 为人类演示)的数据进行训练。
推荐理由:该工作提出 VioLA,通过预测身体与手部运动潜变量而非关节命令,利用海量人类演示数据实现真实机器人零样本执行,显著优于现有基线。
该论文提出了 SCOPE(Score-Curvature for Online Precision Estimation)模块,旨在解决从扩散模型中提取不确定性成本高昂的问题。
针对多模态大语言模型在空间、具身及物理推理上的不足,作者提出 WOVEN 训练源与基准,利用视频预训练生成模型的多样化 rollout 数据,系统性地组织场景、动作与推理类型的监督信号。
这篇论文提出了 WorldCast 架构,旨在生成具有玩家与环境表示一致性的独立控制多视角视图。系统由运行视频生成器和状态模型的本地客户端组成,利用训练时的位置与地图几何信息估计玩家状态,并通过交换玩家状态及投影到相机对齐的场来指导渲染和维持跨视角的场景一致性。
arXiv 论文介绍 LeWAM,这是一种基于去解码器 JEPA 潜空间的 Transformer 架构,支持前向、反向动力学及策略预测。实验表明其潜在表示能更好对齐机器人状态并忽略视觉干扰,且闭环评估性能匹配同规模流匹配策略,同时具备世界模型能力。
该论文提出ARC(A Reasoning Recipe)方法,旨在不依赖大规模新数据采集或昂贵训练的情况下,显著提升现有机器人基础模型(RFM)的零样本任务性能。
推荐理由:提出ARC推理配方,无需新增机器人数据即可通过自动标注与微调提升现有VLA基座模型的零样本任务成功率。
WorldAlign 提出解耦 4D 奖励框架,通过几何先验优化静态区域、利用 VLM 评估动态主体,在无需人工偏好标注下实现在线后训练。该方法在 Wan2.1 和 Wan2.2 两个预训练图像转视频生成器上联合提升了静态与动态一致性,且未抑制整体或主体运动。
论文提出具身图灵机(Embodied Turing Machine)新范式,主张用状态化代码替代 VLA 或 Agent Harness 进行决策。该方法通过 Code-Only-as-Policy (COAP) 从图像和本体感觉中测量并追踪环境与任务状态,使决策完全由代码执行。
论文提出了 LiteNWM 一种潜在导航世界模型,通过共享视觉编码并在多时间步联合预测动作条件化的未来表示,利用学习到的评分器选择轨迹以替代昂贵的生成式视觉回滚。
论文介绍 RiCo 方法,该方法通过稀疏邻域内的接触表面点表示物体间交互,结合点的状态与邻近表面的相对几何、运动及物理属性进行推理。实验显示在 MOVi-benchmark 上相比基线减少 31-35% 的位置和姿态误差,并实现高接触保真度。方法支持从零样本小场景到包含 270 个物体的大场景泛化,且多球碰撞实验提供了初步的仿真到现实迁移证据。
论文介绍 PLaW-VLA 模型,该模型基于预训练面向预测的表示空间对任务相关的未来状态进行建模,利用混合 Transformer 架构通过结构化因果注意力将动作生成条件于观测历史、当前任务语义及预测的未来状态。
针对现有世界动作模型(WAM)因预测原生高维视觉特征导致训练成本高的问题,本文提出 MiniWAM 及 PRISM 方法。PRISM 结合逆动力学监督与特征重建,从当前 - 未来转换中学习紧凑的未来表示;MiniWAM 冻结该编码器后联合预测目标与机器人动作。
Minye Wu 等人提出 Spatial Language Modeling,利用离散坐标和语义 token 共享表示场景轮廓、目标及未来状态,并通过任务特定语法组织为空间序列。模型在仿真 Push-T 任务和真实机器人上均实现了具有竞争力的性能,且在真实机器人上的任务成功率和目标覆盖率优于基线策略。
UNITAS 是首个将观测、动作和场景动力学统一在共享度量 3D 框架内的世界动作模型,使用 3D 点轨迹表示手部和夹爪动作,并以物理时间锚定 token。
推荐理由:UNITAS 提出首个原生 3D 的世界动作模型,统一观测、动作与场景动力学,在 RoboTwin 仿真与真实任务中均取得最优表现。
该论文提出了 HWAM(Humanoid World Action Model),旨在解决分层人形系统中策略参考动作与机器人实际运动之间的执行差距问题。HWAM 将执行后的本体感知状态作为显式预测目标,通过三条互补路径进行训练:仅基于当前观测的联合去噪、基于动作与执行后状态的视觉未来预测(前向动力学建模)以及从视觉过渡重建关节轨迹(逆向动力学建模)。
论文指出生成的任务视频若与当前相位时序错位会转化为有害引导,导致成功率大幅下降。作者提出 Reliability-Aware Future Conditioning (RAFC),将其视为控制问题而非生成问题,在每一步估计对接收片段的信任度并选择合适的时间假设,无需时序对齐监督即可学习。
论文提出 LGWM,这是一个无需解码器、由动作条件的世界模型,能在观测编码的空间中直接预测下一屏幕的表征。该研究论证了世界模型应作为验证工具而非仅模拟器或规划器,通过向量比较判断过渡是否安全。作者在 RSWT-BENCH 上评估显示,其无训练分数达到 0.987 AUC,决策延迟为每步 17ms,显著优于生成式 GUI 世界模型和提示式 VLMs。
针对现有多视图空间推理依赖稀疏输入和语言对齐脆弱的问题,本文提出 Seek-and-View 推理框架及 Vantage 模型。该方法通过定位问题相关视角寻找隐式跨视图证据,并合成视觉信息以增强几何理解。实验在六个预训练视觉语言模型上验证了无需微调即可提升多基准表现的效果。代码与项目页面已公开。
针对固气动力学及相互作用难以同时保持各相运动特征且需符合物理规律的挑战,论文提出 PAVG 模型。该模型采用双分支架构显式建模固体与气体动力学,利用时空交叉注意力捕捉物理交互,并构建了包含超 70 万条轨迹的仿真语料库覆盖多样场景。评估显示其在运动遵循度、物理合理性与视觉质量上优于现有方法。材料为预印本论文,未报告真实机器人部署结果。
针对传统视觉语言动作模型在固定时间间隔预测动作导致路径与执行速度耦合的问题,本文提出 PathTime-VLA 框架。该方法将运动表示为进度索引的交互路径与单调时间律,支持分阶段后训练:利用演示和 DAgger 建立目标域先验,通过 Speed-DQN 学习执行乘数,并利用 Path-AWR 优化扩散路径生成器。
该论文针对自回归视频扩散模型存在的‘中远期遗忘’问题,提出 Memory Forcing 方法,通过划分缓存区域和动态重索引技术,在固定显存下保留中间事件信息。实验显示该方法在 1.3B 参数规模下长片段表现领先,且成功扩展至 Wan2.2 5B 模型,生成了更具物理合理性和动态性的视频,是目前该方向首个公开的 5B 模型。
该论文针对知识蒸馏中跨样本预测结构未被充分利用的问题,提出了 TAM 框架。该方法将冻结教师网络的知识组织为有界可检索的历史记忆,通过任务特定的选择规则匹配共享参考或回归残差原型,从而在视频预测、天气预报和交通流预测等多个任务上提升学生模型性能(如 SSIM 和 MSE),且仅在训练阶段使用辅助组件,不增加推理成本。
论文介绍 DAMP 框架,旨在在无感知信息条件下实现类人机器人在复杂地形上的稳健自然移动。该方法利用循环神经网络捕捉时间依赖并隐式推断任务相关潜在信息,通过表示对齐实现目标一致的策略学习。研究展示了从仿真到真实环境的迁移学习能力及泛化效果。
该论文提出 Learning-to-Retrieve (L2R) 方法,旨在解决现有视频世界模型依赖外部显式记忆系统的问题。该方法将持久内部状态作为历史上下文记忆,通过相机条件化的检索门控决定“检索什么”,并通过基于三维重可见性信号的触发器决定“何时检索”。
ACT³是一种简单的动作中心三流 Transformer,通过逐层注意力机制将视觉语言模型(VLM)和世界模型(WM)表征融合进控制动作。该架构在保持上下文流独立前向传播的同时,允许两个骨干网络均通过控制监督进行更新。仿真与真实世界机器人操作基准实验表明,ACT³的表现优于其同类方法。
论文 WAM-Cache 提出了一种无需训练的框架,旨在优化世界动作模型(WAMs)在闭环控制中的计算效率。该方法通过跨片段保留层间键值表示并仅重新计算稀疏刷新令牌集来减少预填充开销。
论文提出 PlanWAM(Planning-Shaped World Action Model),旨在解决现有世界模型未明确哪种未来表征对规划最有用这一问题。该方法利用时序寄存器金字塔压缩历史信息,并通过特权分支观察真值未来帧来塑造未来潜在表征,随后通过回顾到前瞻蒸馏训练仅依赖历史的先验分支进行预测。
该论文针对潜在 LiDAR 流水线中卷积 VAE 导致的飞点(flying pixels)问题,提出 CRISP 方法,采用像素空间扩散解码器、骨干无关的潜在适配器及去噪器。
Being-M0.7 是一种针对人形机器人的潜在世界 - 动作模型,旨在解决机器人演示稀缺问题。该工作整合了超过 1,000 小时的原始人类中心数据(包括仅视频、仅运动及配对视频 - 运动流),通过预训练学习视觉动力学与全身运动学结构。
论文介绍 SimVLA 端到端框架,该模型完全基于合成仿真数据进行预训练和后训练,无需遥操作即可在真实家庭环境中实现移动操作任务的零样本迁移。研究通过 SimAction 和 SimVQA 数据集提供空间与几何监督,并在 restocking、pouring 等任务上优于依赖 50 次真实演示的策略。材料为 arXiv 预印本,未提及同行评审状态或具体开源代码仓库。
该论文提出 ChainDance 框架,将群舞生成分解为独立的单舞者条件分布序列,解决了现有端到端方法受限于固定群组规模和身份纠缠的问题。在冻结的单舞者扩散主干基础上,引入角色感知文本编码器和群组感知运动编码器,利用无训练噪声优化确保全局空间一致性。实验表明该方法在保持个体身份的同时实现了最优的运动质量和群组协调性,参数量和训练时间均显著低于现有方案。
针对大推理语言模型(LRLMs)在机器人任务规划中可能覆盖有效中间计划或遗留约束违规的问题,作者提出 SafeInferCom 框架。该框架利用不干扰原始解码轨迹的监控器暴露并验证中间计划,并在生成过程中引导错误修正。