OneWM:统一因果训练下的世界模型与动作建模互惠研究
该论文引入 OneWM 框架,在共享视频 - 动作架构中将动作视为世界预测的条件及策略学习的目标。实验基于 LIBERO、LIBERO-Plus 和 RoboCasa365 等具身测试平台进行验证。结果显示,学习指定动作的视觉后果能提升策略性能与跨场景泛化能力;反之,动作学习也提升了多视角世界预测的保真度。研究证实了两者在统一因果训练下的互惠增益关系。
该论文引入 OneWM 框架,在共享视频 - 动作架构中将动作视为世界预测的条件及策略学习的目标。实验基于 LIBERO、LIBERO-Plus 和 RoboCasa365 等具身测试平台进行验证。结果显示,学习指定动作的视觉后果能提升策略性能与跨场景泛化能力;反之,动作学习也提升了多视角世界预测的保真度。研究证实了两者在统一因果训练下的互惠增益关系。
针对电子稳定控制系统难以处理打滑、水滑或急避导致的失控问题,该研究提出通过强化学习训练漂移策略并迁移至最小时间恢复任务的方法。作者定义了基于相平面的稳定平衡点作为恢复标准,开发了 Gym-Khana 用于控制器训练与评估。
推荐理由:该研究通过强化学习训练漂移策略并迁移至恢复控制,在物理 F1TENTH 平台上验证了比传统方法更优的失控恢复能力。
arXiv 预印本介绍 RIGen 框架,旨在解决生成式游戏中仅依赖视听预测难以维持长期后果的问题。该框架结合持久状态、可配置规则及上下文交互推理,利用 Xonotic 游戏数据集训练视听生成器,并进一步后训练得到交互式第一人称射击原型 Rigarena。实验表明该方法能实现玩家与生成世界之间更可靠的战斗结果和互惠互动。
本文提出 WorldCast 基准,包含 320 个手动设计的案例以评估多步世界状态预测能力。实验显示 GPT-Image-2.5 System 在真实任务中得分 72.8,而开源模型最佳仅得 20.1,表明当前模型在处理复杂上下文与推理密集型任务时存在显著差距。
论文介绍 Athanor,这是一个在真实 GPU 上运行的开放智能体原生系统,旨在支持智能体的自主后训练研究(AutoPostTrain)。该系统赋予智能体完全的研究自主权,提供低摩擦工程工具、冻结评估服务、托管作业、去污染数据及持久化记录,且禁止使用外部教师模型。
推荐理由:Athanor 系统在沙箱环境中让 Claude Opus 5.5 智能体自主完成基座模型的后训练,首次演示了前沿智能体重组已知方法即可达到官方指令微调版本的效果。
针对流式视觉语言模型需整合历史信息且保持对当前观测响应的挑战,本文提出 MaLoW 框架,利用循环超网络将视频观测增量整合为固定大小的 LoRA 权重,从而以参数形式携带历史信息而非占用上下文。
推荐理由:提出将历史记忆内化为参数更新的框架,在长视频理解与具身智能任务上优于现有方法。
针对视频世界模型在长序列生成中因 KV 缓存增长导致的效率下降问题,论文提出了 Velox,一种无需训练的注意力路由器。该方法利用流形切片(frustum slab)对应关系进行区域级上下文选择,将历史块表示为相机视锥体切片,并通过最近优先多变形技术获取当前块的深度信息。
针对长视界交互中终端奖励导致的信用分配稀疏及策略过时问题,本文提出 TreeOPSD 框架。该方法将交互回合视为树节点,从共享前缀分支替代续写并递归回溯终端奖励至隐式回合级信用;随后映射为基于似然比的有界教师分布参数,通过最小化与学生的发散恢复策略梯度方向并限制更新幅度。
Hugging Face Daily Papers 收录了论文 Persistent Planar Memory for Video World Models(NeurIPS 2026 接收)。
推荐理由:该工作提出用平面基元构建持久化 3D 记忆,在视频生成中实现紧凑且几何显式的深度与表面表达。
针对复杂基准测试运行成本高、迭代慢的问题,本文引入 EvalResearchBench(ERB),研究 AI Agent 是否能在给定材料、API 及预算约束下自动设计评估任务与评分器。实验对比了 9 名研究者与 13 个候选模型生成的评估器在 14 个目标基准上的表现,发现最佳评估器对约 75% 的候选对排序与目标一致,且开发集最优者未必在密封测试集上最优。
华为前小艺大模型负责人唐都钰创办观行数智,推出“主动式物理AI”概念与ProAgent双模型协同架构(StreamingJev哨兵与Response Model指挥员)。
斯坦福大学和哥伦比亚大学联合发布了基于自进化工具库的机器人灵巧操作框架DexAgent,由李飞飞、吴佳俊等参与研究。该框架能将单条人类第一视角视频转化为多样化的机器人训练数据,在仿真环境中重建物体物理交互并生成复合物理约束的运动轨迹。
推荐理由:斯坦福与哥伦比亚大学联合发布DexAgent框架,利用AI Agent将人类视频转化为符合物理规律的训练数据,在11项真实任务中平均成功率达63.6%,是基线模型的3.5倍。
上海人工智能实验室访问学者许地生团队依托书生科学多模态大模型 S2,基于通专融合技术路径与人机协同模式,完成了困扰数学界三十余年的三维 Ghys 猜想证明。北京大学董彬教授、刘若川院士团队利用 SHEAF 框架对论文全部四个主定理完成形式化验证,证明已通过 Lean 检验。
推荐理由:书生-S2 多模态大模型依托人机协同攻克三维 Ghys 猜想,形式化代码已公开,展示了国产模型在长程推理与科研级数学任务上的新能力。
Thinker-WM 是一种统一的多模态世界模型,通过共享中间层 Unified Dynamics Transformer 联合建模并生成 RGB、度量深度和机器人动作。
推荐理由:Thinker-WM 提出统一多模态世界模型,在共享动力学表示下联合生成 RGB、深度与动作,并在 EWMBench 等基准中表现领先。
该研究比较了依赖外部验证器的奖励信号与基于模型自身图像区域注意力的内部奖励机制。结果表明,外部奖励主要驱动准确率提升,而内部注意力奖励提供了无标注的空间关系推理信号,且能作为补充增强 Molmo~2 等模型的物理推理能力并泛化至分布外任务。
论文提出 ILA(Interaction Latents as Actions)方法,通过可解码的交互潜变量联合捕捉运动、接触和力的演化过程,将其作为策略动作单元。
推荐理由:该工作提出用交互潜变量统一编码运动、接触与力演化,支持预训练 VLA 的后训练及从头训练流匹配策略。
针对预训练视频生成模型构建的世界动作模型在顺序微调时易遗忘旧任务的问题,本文提出无需访问历史训练数据的持续学习方法。核心贡献是修正生成回放技术,通过智能体评估器截断多余生成并过滤物理不一致的动作,解决了原始生成回放滞后于真实数据的问题。
该论文评估了三个世界动作模型在四个 RoboLab 场景下的表现,固定初始状态与任务目标,通过 864 次 rollout 发现描述关系时若以参考对象而非移动对象为基准,平均降低稳定放置成功率 12.2 个百分点。
针对现有类人机器人行为基础模型在执行运动时存在指令执行偏差的问题,该方法提出了一种无需重新训练即可通过测试时计算来改善执行的策略。首先引入测试时命令优化技术,利用闭环仿真对基础模型和机器人动力学进行基于采样的优化,从而调整输入命令以生成更接近期望轨迹的执行结果;在 AMASS 数据集上的三个基础模型实验中,该方法将平均全身位置误差降低了 79% 至 84%。
推荐理由:提出无需重训即可通过测试时计算优化命令以缩小执行偏差,并在仿真与真机上验证了提升全身定位精度的有效性。
论文提出 GAE(Geometry-Aware Autoencoder),将基础模型特征重参数化为可解码外观、深度、相机和点云的紧凑潜在空间,解决视觉生成器缺乏三维一致性的问题。
论文介绍 ICM-Bench 基准,用于评估多模态智能体在长期视频记忆中对人物身份的持续追踪与关系推理能力。该基准包含 141 分钟合成视频及针对 6 位常驻人物的 1217 个开放性问题。评测结果显示 Gemini 3.1 Pro 整体准确率为 74.0%,但在需要积累稳定人物证据的长周期身份问题上得分降至 60.3%。
论文提出了 AdaVDR,一种针对视频深度研究的智能体,旨在联合理解视频内容与检索外部知识以回答问题。为解决多步工具调用带来的成本与失败风险,该方法构建了基于任务类型和模型能力的自适应工具使用轨迹数据管线,并应用模型条件化的工具必要性过滤来剔除可被视频理解或内部知识替代的工具。
论文提出 TrAct 框架,利用视觉轨迹作为机器人控制与视觉预测之间的通用接口。该框架包含联合预测动作与轨迹的 VLAT 模型、基于轨迹的世界模型 TWM 以及用于评分的奖励模型 VLAC。
推荐理由:提出 TrAct 框架,利用视觉轨迹作为控制与预测的中间接口,在仿真和真实操作任务上显著提升了成功率。
FACT 是一种因果世界 - 动作模型,通过以执行动作为条件预测未来视频和任务进度,将失败演示转化为有效的未来目标而非丢弃。该方法使进度预测器能感知成功与失败结果,并可选用于推理时打分采样动作候选。仿真与双手动操作实验表明,FACT 优于现有基线,随失败数据纳入训练而提升,且降低了坏动作下的未来幻觉。
推荐理由:FACT 方法让因果世界模型能利用失败演示监督动作后果,减少坏动作下的未来幻觉。
该论文介绍4DVLT,一种离线校准的多视角任务,旨在统一实体定位、度量3D空间与同步2D追踪,通过世界线绑定身份、运动、可见性与观测。作者构建了Instruct-4D数据集(含12.9万问答对等)并提出4DTrack模型,在查询条件推理下达到55.18 WQS分数,超越最强适配基线33.01分并提升定位与轨迹质量。材料为arXiv预印本,未提及同行评审状态或真实部署结果。
针对现有运动预测方法缺乏对现实世界法规与行为约束显式编码的问题,该研究提出了一种名为 TraCS 的神经符号框架。TraCS 利用代理代码生成管道连接自然语言交通法规描述与概率运动预测,并采用反应式数据流推理引擎动态更新合规景观。
推荐理由:该工作提出神经符号框架 TraCS,在 Argoverse 2 基准上验证了将交通法规逻辑融入运动预测的有效性。
NVIDIA Nemotron 3.5 Super VL 是一款开源可定制的多模态模型,专为处理阅读文档、跨源查信及调用工具等长流程企业工作流设计。该模型采用 120B 参数混合专家架构,每次请求仅激活 12B 参数以支持专用智能体的高效推理。
LEGS 是一种混合仿真器,将网格前景(机器人、物体)叠加到由手持拍摄重建的逼真 3D 高斯泼溅背景上。该系统利用程序化运动原语生成器在无人工遥操作的情况下合成带标签演示,并通过两阶段色彩校准对齐渲染与部署相机。
推荐理由:提出 LEGS 混合仿真器,利用程序化生成与高斯泼溅背景替代遥操作数据,在 Unitree G1 上实现无需人工演示的策略训练。
OmniSelect 是一种无需额外训练、支持动态选择的模态自适应 Token 剪枝框架,旨在解决全模态大语言模型处理长序列时的计算开销问题。该方法利用轻量级 AudioCLIP 评估跨模态相关性,将输入分为以音频为中心、以视频为中心和均匀剪枝三种策略,并在时间组内细粒度分配压缩比例以保留关键信息。
该论文提出了 Schrödinger's Navigator,一种信念感知的零样本物体导航框架。该方法在推理时利用轨迹条件化的 3D 世界模型对多个潜在未来进行想象,维持场景实现的叠加态而非单一地图映射。
推荐理由:提出信念感知的导航框架,利用轨迹条件化的 3D 世界模型想象多未来以解决遮挡场景下的零样本目标导航问题。
本文提出名为 Chain-of-Time 的新颖提示方法,旨在稳定并解释自回归图像生成模型产生的物理仿真结果。该方法通过在推理阶段生成一系列中间图像来模拟时间演变,无需额外微调即可应用于合成与真实世界领域(如刚体滚动、谐波振荡等)。
针对机器人操作中数据采集成本高及复杂环境下的多任务挑战,该研究提出一种结合贝叶斯深度学习的方法,旨在提升模型校准质量并提高数据效率。通过在初步探索阶段对动态模型进行主动学习,利用每次状态转移的信息增益作为探索奖励。实验在 CoppeliaSim 完整机械臂仿真器上进行,结果显示该方法在机器人执行要求远低于现有替代方案的情况下,达到了相当的任务完成质量。代码已公开。
该研究提出一种架构,将解分配给专注于不同频谱尺度的普通 Transformer 专家,利用离散 Hodge Laplacian 作为拟合层测量高频内容。在包含 9.6K 面元和 4.9K 顶点的非结构化网格上,该方法相比 Transolver 基准使相对 L2 误差降低 31%,内部均方误差降低 47%。
针对大语言模型在复杂三维物体组合任务中缺乏物理理解与交互经验的问题,本文提出 PhySGA 框架。该框架采用协作式前馈 - 反馈架构,由负责全局规划与粗调的装配代理和负责接触动力学诊断与闭环修正的评论代理协同工作;通过动作路由将语义计划映射为仿真器内的可执行原语,并利用自演化技能库蒸馏试错经验以提升成功率。
MemWM 通过引入内容可寻址记忆库增强 JEPA 风格预测,解决现有隐式动力学方法存在的表征坍塌与计算开销问题。该方法在 PushT、Tworoom、Reacher 及 OGBCube 数据集上验证了轻量化架构的优越性,显著优于传统模型在长视界规划任务中的表现。相关代码与论文预印本已公开于 arXiv,为具身智能领域提供了新的可扩展路径。
针对多模态智能体在长周期和终身设置中持续获取复杂异构信息的挑战,本文提出一个包含两个维度的记忆机制分析框架。第一维度(形成与表示)定义了信息如何被编码为特定模态嵌入或结构化记录以支持推理;第二维度(管理)区分了静态复用、动态更新和自我进化三种策略层级。
论文提出了 DiffGIPC,这是一个针对接触丰富逆问题的 GPU 加速可微分框架。该方法通过仿射体导数设计,在保持非穿透约束的同时仅保留十二个运动自由度,显著降低了全空间有限元实现中的计算成本。
CardioFAD 提出聚焦 - 对齐 - 扩散范式,通过运动显著关键帧解决极端单样本下的心脏动态合成难题。该方法在心脏 MRI 与超声心动图视频上展现出优越的视觉质量、时间连贯性及功能一致性。相关代码与论文已作为 NeurIPS 2026 预印本公开于 arXiv。
现有几何感知的多模态大语言模型(MLLM)通常依赖外部 3D 编码器提供结构先验,但这在推理时引入显著延迟和计算开销。本文提出 GeoThinker-F 框架,通过将因果 MLLM 隐藏状态转化为预测性潜在世界表征来内部化时空感知。
推荐理由:该工作提出 GeoThinker-F 框架,通过内部化时空感知消除对外部 3D 编码器的依赖,推理速度提升 3.6 倍。
该研究提出了 Any Time, Any Space (ATAS) 框架,旨在解决长形式代理式视频生成中非连续请求下的时空一致性难题。该方法将剧本编译为包含明确位置、相机和事件时间引用的镜头请求,并在生成前从注册的静态几何场景记忆和动态观察事件记忆中检索相关证据;生成后重构并注册片段,仅在审查通过时更新记忆。