Persistent Planar Memory for Video World Models
Hugging Face Daily Papers 收录了论文 Persistent Planar Memory for Video World Models(NeurIPS 2026 接收)。
推荐理由:该工作提出用平面基元构建持久化 3D 记忆,在视频生成中实现紧凑且几何显式的深度与表面表达。
技术方向
世界状态建模、预测、可控生成与交互;区分视觉生成、空间导航和具备物理预测能力的系统。
574 条精选近 30 天 307 条共收录 1,758 条
Hugging Face Daily Papers 收录了论文 Persistent Planar Memory for Video World Models(NeurIPS 2026 接收)。
推荐理由:该工作提出用平面基元构建持久化 3D 记忆,在视频生成中实现紧凑且几何显式的深度与表面表达。
斯坦福大学和哥伦比亚大学联合发布了基于自进化工具库的机器人灵巧操作框架DexAgent,由李飞飞、吴佳俊等参与研究。该框架能将单条人类第一视角视频转化为多样化的机器人训练数据,在仿真环境中重建物体物理交互并生成复合物理约束的运动轨迹。
推荐理由:斯坦福与哥伦比亚大学联合发布DexAgent框架,利用AI Agent将人类视频转化为符合物理规律的训练数据,在11项真实任务中平均成功率达63.6%,是基线模型的3.5倍。
上海人工智能实验室访问学者许地生团队依托书生科学多模态大模型 S2,基于通专融合技术路径与人机协同模式,完成了困扰数学界三十余年的三维 Ghys 猜想证明。北京大学董彬教授、刘若川院士团队利用 SHEAF 框架对论文全部四个主定理完成形式化验证,证明已通过 Lean 检验。
推荐理由:书生-S2 多模态大模型依托人机协同攻克三维 Ghys 猜想,形式化代码已公开,展示了国产模型在长程推理与科研级数学任务上的新能力。
Thinker-WM 是一种统一的多模态世界模型,通过共享中间层 Unified Dynamics Transformer 联合建模并生成 RGB、度量深度和机器人动作。
推荐理由:Thinker-WM 提出统一多模态世界模型,在共享动力学表示下联合生成 RGB、深度与动作,并在 EWMBench 等基准中表现领先。
论文提出 ILA(Interaction Latents as Actions)方法,通过可解码的交互潜变量联合捕捉运动、接触和力的演化过程,将其作为策略动作单元。
推荐理由:该工作提出用交互潜变量统一编码运动、接触与力演化,支持预训练 VLA 的后训练及从头训练流匹配策略。
针对现有类人机器人行为基础模型在执行运动时存在指令执行偏差的问题,该方法提出了一种无需重新训练即可通过测试时计算来改善执行的策略。首先引入测试时命令优化技术,利用闭环仿真对基础模型和机器人动力学进行基于采样的优化,从而调整输入命令以生成更接近期望轨迹的执行结果;在 AMASS 数据集上的三个基础模型实验中,该方法将平均全身位置误差降低了 79% 至 84%。
推荐理由:提出无需重训即可通过测试时计算优化命令以缩小执行偏差,并在仿真与真机上验证了提升全身定位精度的有效性。
论文提出 TrAct 框架,利用视觉轨迹作为机器人控制与视觉预测之间的通用接口。该框架包含联合预测动作与轨迹的 VLAT 模型、基于轨迹的世界模型 TWM 以及用于评分的奖励模型 VLAC。
推荐理由:提出 TrAct 框架,利用视觉轨迹作为控制与预测的中间接口,在仿真和真实操作任务上显著提升了成功率。
FACT 是一种因果世界 - 动作模型,通过以执行动作为条件预测未来视频和任务进度,将失败演示转化为有效的未来目标而非丢弃。该方法使进度预测器能感知成功与失败结果,并可选用于推理时打分采样动作候选。仿真与双手动操作实验表明,FACT 优于现有基线,随失败数据纳入训练而提升,且降低了坏动作下的未来幻觉。
推荐理由:FACT 方法让因果世界模型能利用失败演示监督动作后果,减少坏动作下的未来幻觉。
针对现有运动预测方法缺乏对现实世界法规与行为约束显式编码的问题,该研究提出了一种名为 TraCS 的神经符号框架。TraCS 利用代理代码生成管道连接自然语言交通法规描述与概率运动预测,并采用反应式数据流推理引擎动态更新合规景观。
推荐理由:该工作提出神经符号框架 TraCS,在 Argoverse 2 基准上验证了将交通法规逻辑融入运动预测的有效性。
LEGS 是一种混合仿真器,将网格前景(机器人、物体)叠加到由手持拍摄重建的逼真 3D 高斯泼溅背景上。该系统利用程序化运动原语生成器在无人工遥操作的情况下合成带标签演示,并通过两阶段色彩校准对齐渲染与部署相机。
推荐理由:提出 LEGS 混合仿真器,利用程序化生成与高斯泼溅背景替代遥操作数据,在 Unitree G1 上实现无需人工演示的策略训练。
该论文提出了 Schrödinger's Navigator,一种信念感知的零样本物体导航框架。该方法在推理时利用轨迹条件化的 3D 世界模型对多个潜在未来进行想象,维持场景实现的叠加态而非单一地图映射。
推荐理由:提出信念感知的导航框架,利用轨迹条件化的 3D 世界模型想象多未来以解决遮挡场景下的零样本目标导航问题。
现有几何感知的多模态大语言模型(MLLM)通常依赖外部 3D 编码器提供结构先验,但这在推理时引入显著延迟和计算开销。本文提出 GeoThinker-F 框架,通过将因果 MLLM 隐藏状态转化为预测性潜在世界表征来内部化时空感知。
推荐理由:该工作提出 GeoThinker-F 框架,通过内部化时空感知消除对外部 3D 编码器的依赖,推理速度提升 3.6 倍。
现有机器人策略记忆通常随观测序列演化,隐含地将每次更新视为相同的物理时长,忽略了相同观测历史可能跨越不同持续时间并需不同动作的事实。本文提出 Temporal Flow Policy (TFP),通过学习记忆动力学来保留过去事件并在测量的时间间隔内演化记忆状态。
推荐理由:提出将物理时间作为机器人策略记忆的关键维度,通过引入时间流机制提升在需要时序与记忆的物理操作任务中的成功率。
论文介绍 PreActIR 框架,该框架通过工具条件世界模型在执行前预测残差退化、图像质量及风险,并由独立验证器决定是否提交或回滚输出。实验显示,在固定候选池与预算下,该方法比试错方法减少 42.5% 真实工具调用和 63.4% 被拒绝调用,同时提升 Y-PSNR 0.92 dB。材料为 arXiv 预印本,处于审稿中。
推荐理由:提出 PreActIR 框架,在固定候选池与预算下比试错方法减少 42.5% 真实工具调用并提升 Y-PSNR。
论文介绍 Atomic-WAM,这是一个理解后执行的框架,旨在解决任务级指令对物理交互定义不足的问题。该方法利用视觉语言推理器描述局部运动以引导世界动作模型预测视频和动作片段,并通过自动标注流程从多视角 DROID 演示中获取接触丰富的监督信号。
推荐理由:提出 Atomic-WAM 框架,通过原子运动描述连接任务推理与动作生成,在 RoboLab 上实现执行 grounded 的奖励优化。
针对预训练的世界动作模型(WAMs)在处理密集未来帧 Token 时产生的高推理延迟问题,本文提出了 CF-Prune 这一无需训练的剪枝框架。该方法利用指令与动作注意力机制识别任务相关 Token,并通过基于熵的相位识别机制保留高精度计算阶段以缓解性能下降。
推荐理由:提出无需训练的剪枝框架,在保持任务成功率的同时显著降低推理延迟。
论文提出将世界模型集成到视觉语言动作模型(VLAs)以增强策略对未来动态的预测能力。研究通过统一框架系统评估了四种范式:隐式未来对齐、显式未来查询、MoT 未来专家和外部分布预测器,并在域内/外、长视界及真实场景下进行了测试。
推荐理由:该研究通过统一框架系统评估了四种世界模型集成范式,发现解耦的 MoT Future Expert 在跨域鲁棒性上表现优异,且 2D 语义表示具有通用增益。
论文提出 VITAL(Vision-Induced Tokens for Action Learning),旨在将视觉预期转化为驾驶决策。该方法通过耦合视觉导出的运动骨架与紧凑残差编码,使视觉运动成为主要预测目标,同时为轨迹误差提供独立的归一化学习尺度。
推荐理由:该工作提出 VITAL 方法,将视觉运动作为动作预测主目标并引入残差编码,在 NAVSIM v1/v2 测试集上实现接近多步推理的精度与速度。
该论文提出 GlobeBench 基准,包含跨五个领域的 1632 个任务,用于评估文本世界模型对 RL 环境状态转换的模拟能力。研究对比了 20 种通用大语言模型与专用文本世界模型,发现 GPT-6 Astra 在任务成功率上最高为 49.57%,但在涉及多对象依赖传播的任务中平均成功率仅 5.1%。基准采用混合架构结合确定性门控与语义判断器进行验证,并开源了代码与数据。
推荐理由:GlobeBench 基准通过 1632 个任务评估文本世界模型的仿真能力,揭示 GPT-6 Astra 等模型在复杂环境响应预测上的局限。
论文介绍 LEV 模型,这是一种无需生成文本即可进行深度推理的决策模型。该模型通过在训练好的语言模型基础上循环运行其层来增加推理深度,从而在保持单次前向计算的同时提升对复杂问题的回答准确率。实验显示,LEV 在硬任务上的准确率随深度增加而显著提升,且能通过小阈值动态调整推理深度以节省约 15% 至 24% 的计算量。
推荐理由:提出循环决策模型架构,在无需生成文本的情况下通过迭代层实现深度推理,显著降低硬任务计算成本。