MentalGrid 基准与 SpatialWalker 模型:揭示并增强 MLLM 的空间动态模拟能力
MentalGrid 基准评估显示现有多模态大语言模型在无需视觉反馈的动态空间模拟任务中存在感知局限与推理不足。为此提出的三阶段课程学习框架利用 16k 专用样本训练出 SpatialWalker,其平均性能较基线提升 33.8%,超越 Gemini-3-Flash 等专有模型。该模型在跨域基准上保持 4.9% 的平均增益,证实空间模拟是构建广泛空间智能的关键基石。
MentalGrid 基准评估显示现有多模态大语言模型在无需视觉反馈的动态空间模拟任务中存在感知局限与推理不足。为此提出的三阶段课程学习框架利用 16k 专用样本训练出 SpatialWalker,其平均性能较基线提升 33.8%,超越 Gemini-3-Flash 等专有模型。该模型在跨域基准上保持 4.9% 的平均增益,证实空间模拟是构建广泛空间智能的关键基石。
针对直接物体交互需要精细控制的挑战,本文介绍了 LynnReal-Hand 这一手控视频世界模型,统一了精确的交互建模与高效的流式生成。团队整理了涵盖真实与合成环境的 10 万条交互片段,开发了手部感知监督以改善细粒度动作;利用因果流图实现少步生成,并结合区域感知分数蒸馏融合视频与图像先验来优化交互动力学和视觉外观。
推荐理由:该工作提出手控视频世界模型,通过因果流图与区域感知蒸馏提升交互精度,并开源数据集、权重及代码以支持相关研究。
SciWorldBench 基准通过成对科学实验评估十款图文转视频(TI2V)模型,发现其生成的配对视频常呈现相同结果而非依据条件变化产生不同结局。该预印本论文指出当前视频世界模型难以可靠应用底层科学原理,并将公开数据集与开源评测代码。
该研究通过 FlipTest 对 1,680 帧初始画面中的 25 个任务进行评测,发现所有 11 款视频世界模型均无法准确捕捉微小物理变化(如物体位置毫米级偏移)对未来结果的影响。最佳模型准确率仅 18.3%,低于随机猜测水平,且缺乏对因果状态的识别能力;相比之下,视觉语言模型和代码智能体表现更佳。作者建议社区重新思考世界建模不应仅是像素预测,而需识别控制未来动态的因果状态。
推荐理由:FlipTest 评测显示现有视频世界模型无法捕捉微小状态变化,建议从纯像素预测转向识别因果状态。
针对端到端视觉控制器的闭环行为难以验证问题,本文提出确定性世界模型(DWM)和动作引导分区验证方案。DWM 仅从物理状态生成图像,无需潜在变量解码器;结合动作引导的分区策略,在固定计算预算下显著降低未知区域比例。实验显示该方法比 cGAN 代理更准确,鲁棒性区间收窄 1.9 至 69 倍。
针对视频世界模型训练中动作监督稀缺且难以扩展的问题,本文提出 OnlyAct 方法。该方法不从头学习动作空间,而是利用预训练基础模型(V-JEPA)帧对嵌入中已包含的动作信息,通过无标签对比适应框架在保留场景不变性的同时提取动作表示。研究在机器人操作、相机导航、游戏和驾驶等基准上进行了统一评估,结果显示其生成的世界模型能将演示动作更忠实地迁移到新场景中。
针对高保真激光雷达仿真在结构控制与时序一致性上的瓶颈,本文提出了 CrossLiDAR 统一框架。该模型基于修正流目标与多模态扩散 Transformer 骨干,通过跨传感器交互模块和 ControlNet 风格分支支持结构条件输入(如 BEV 先验或 3D 边界框),并采用自回归方式扩展短序列以增强长时序连贯性。
SoftPAT3D 框架通过物理仿真为生成的可变形物体构建静水密碰撞网格与弹性参数,解决了现有管线仅支持刚体且无法处理自相交几何的问题。在全部六十五个提示词测试中,该系统实现了零非预期穿透,并支持场景编辑与机器人操作任务。该预印本论文包含 33 页内容、13 张图示及完整代码权重开放许可。
针对物理 AI 任务中自回归视觉语言模型逐点生成导致效率低下的问题,该论文提出 VFlash 方法,利用轻量级 drafter 通过 Flash Primitive Decoding 联合预测视觉原语(如包围盒、轨迹)的坐标。
针对现有世界模型仅能预测事实性观测的局限,该研究提出 CWMDT 框架,通过构建场景的数字孪生(结构化文本表示)并引入大语言模型推理干预传播路径,使标准视频扩散模型能够生成反事实视觉序列。在两个基准测试中,该方法实现了最先进水平性能,表明数字孪生表示可为基于前向仿真的世界模型提供强有力的控制信号。材料为预印本版本,未报告真实机器人部署结果或具体实验条件细节。
论文提出了 EvoWorld 模型,旨在弥合全景视频生成与演化 3D 记忆之间的差距,以实现空间一致的长视界探索。该方法以单张全景图为输入,先生成未来视频帧,再利用前馈即插即用 Transformer 演化场景的三维重建,最后基于该显式 3D 记忆的几何重投影合成未来内容。
这篇综述通过结构化叙事综合和可复现的证据映射,定义了医疗世界模型的概念边界与技术基础。研究筛选了 1455 条记录并汇编了 300 个来源,其中 14 项符合严格的实证定义。文章区分了患者状态表征、时间动态建模等四大能力,指出当前证据多处于回顾性或临床前阶段,并提出了从轨迹预测到干预比较所需的精确干预表示与因果机制等具体证据要求。
推荐理由:该综述梳理了医疗领域世界模型的四大能力与临床转化证据要求,区分技术可行性与临床成熟度,为相关团队提供评估框架。
针对高性能计算环境中多变量科学仿真数据存储瓶颈问题,本文提出 SWAP-INR 架构以实现高保真压缩。该方法引入可切换注意力路径(SWAP)模块以显式建模跨变量交互并剪枝冗余层,同时利用自适应放大 SIREN(A2-SIREN)替代刚性频率缩放以适应异构物理特征。
论文 AuroraWorld 提出一种结构化 4D 世界建模方法,用于从大规模外视角(exocentric)机器人操作视频中合成物理一致且策略相关的内视角(egocentric)观测数据。该方法旨在解决现有技术在处理大幅视点变换、严重遮挡及复杂物体交互时难以生成高质量内视角视频的难题。材料为 arXiv 预印本版本,未提及同行评审状态或具体实验结果。
arXiv 论文发布 AgiWorld,这是一种代理式视频世界模型,旨在从单张图像和自由指令出发构建并探索持久化世界。系统包含负责高层规划与路径设计的 AgiWorld-Agent 和负责逐帧生成视频的 AgiWorld-WM,两者共享空间记忆以维持状态一致性与用户意图忠实度。
推荐理由:提出 AgiWorld,通过智能体与视频模型的闭环及空间记忆机制解决长序列探索中的持久性问题。
针对视频世界模型的预测误差常被误作物理惊奇,该研究提出新评估框架以区分外观、静态内容及普通预测难度。在 IntPhys2 基准上对比发现,V-JEPA2 仅暴露有限的可能性信息,且固定误差阈值会错误标记许多可能事件为不可能。结论表明模型虽能表征物理信息并响应错误动作,但其原生预测误差无法可靠衡量物理惊奇。
论文提出 Seeing the Unseen 框架,旨在解决现有视频生成方法缺乏显式物理过程建模导致动态不一致的问题。该方法分为两阶段:首先利用轻量级粒子图动力学模拟器(PGDS)从数据中学习泛化物理交互并预测合理的三维运动轨迹;其次构建可见 - 不可见运动场(VIMF),捕捉输入帧中可观测的运动及随时间涌现的物体动态,相比传统物理信号提供更完整和结构化的运动引导。
Pano2BIM 是一款几何约束型视觉语言智能体,能利用已知尺寸的平面图和单张 360°照片生成 LOD 200 级别的近似 IFC4 建筑信息模型。在实验室初步评估中,其测量工作流家具足迹交并比(IoU)达 0.53,优于基线的 0.44,且单次运行耗时约 42 分钟、API 成本仅 11 美元。该研究证明了低成本快速生成竣工 BIM 的可行性,有助于维护反映物理状态变化的数字孪生体。
论文 FORCE 提出一种能从原始视频中推断并显式表示成对物体交互关系的视频世界模型架构,支持直接移除、改变或引入特定物体间的相互作用。该方法利用冻结自监督特征的槽注意力提取物体,通过关系编码器将短时观察窗口转化为力,并在 rollout 过程中保持潜变量固定以确保编辑持久性。
该论文探究视频基础模型是否在冻结表征中编码了可用的直觉物理信息,以及这种能力是否自然涌现于大规模视频预训练中。研究利用 IntPhys2 和 MVP 基准,对比了预测联合嵌入(V-JEPA)、掩码重建(VideoMAE)和扩散生成(LTX-Video)三类模型在冻结特征上的表现。
针对以视觉为中心的自动驾驶模型冗余编码天空、建筑等无关内容的痛点,提出 Geometry-Aware Token Selection (GATS) 方法。该方法利用 LiDAR 和雷达点投影在视觉骨干网络运行前筛选关键图像区域,使端到端计算量最高降低 18 倍。
推荐理由:提出基于 LiDAR 几何的 Token 选择方法,在大幅降低计算量的同时提升规划相关场景的预测精度与安全性。
该论文提出 Wavelet Phase Diffusion($ ext{\psi}$-PD),旨在解决基于傅里叶域的扩散模型在仿真到现实(Sim-to-Real)翻译中因全局谱耦合导致的振铃和边界泄漏问题。
论文研究了不同预训练信号如何诱导视频世界模型潜变量中的动作相关结构。研究通过统一的逆动力学探针评估发现,时序视频预训练主要驱动了动作相关性,而像素重建保真度并非关键;具有强解码质量的模型可能表现出近零的动作恢复能力。此外,逆动力学监督显著提升了模型对视觉扰动的鲁棒性。该工作已接受至 CoRL 2026。
推荐理由:该研究通过统一探针评估发现,视频预训练带来的时序预测结构是驱动潜在空间动作相关性的核心因素,而非像素重建保真度。
GameVerse 是一个专为长时程交互式世界建模设计的分钟级游戏视频数据集,包含 69.7K 个片段、1,655 小时视频及 3.496 亿帧数据。其中 1,358 小时为连续两分钟序列,长度是现有数据集的十倍。
arXiv 发布的技术报告介绍了 Hy-Nomas,这是一个基于 8B 扩散骨干的视频世界模型,支持多轮次交互中的自由文本指令与连续相机控制。其核心设计将结构化视频描述与动作感知因果注意力对齐,并通过视觉语言提示增强器处理多模态历史。研究展示了优于现有模型的评估结果,并开源了模型权重、代码、基准及轻量级适配工作流以支持可复现研究。
LabWorld 是一个由智能体驱动的 Real2Sim 框架,能从单目 RGB 视频重建包含可复用 3D 资产、度量场景及时间变化状态的交互式 4D 实验室世界。
论文介绍 Asking the World (ATW),一种构建并质询任务相关可执行世界的通用智能体,包含世界建模与世界探测两个自适应阶段。系统利用 PolyWorld Engine 引擎和 CEM 方法识别动力学,将视频信息转化为主动实验工作区而非预定工具。
该研究提出结合 ODE 热调节模型与行为马尔可夫链的数字孪生框架,利用 MmCows 数据集在奶牛核心体温两小时超前预测中取得 R2 0.783、F1 84.25% 及 PICP 92.38% 的性能。三阶段堆叠集成架构融合多模态特征与不确定性量化,显著优于消融实验基线,为精准畜牧养殖提供鲁棒的早期热应激检测方案。
针对现有视频世界模型在长序列推演和分布外泛化上的不足,本文提出将时序可预测性作为潜空间设计准则的新方法。通过结合时序表示学习目标与过去条件解码器架构,该方法在不牺牲像素预测精度的前提下简化了未来预测任务。
推荐理由:提出将时序可预测性作为视频世界模型的潜空间设计准则,在同等训练预算下实现推理成本降低 5 倍、训练加速 7 倍以上及泛化误差显著下降。
PhysCreator 是一个统一框架,能从图像直接生成带有空间变化物理属性的仿真就绪 3D 表示。该方法通过体素对齐的隐空间联合建模几何、外观与物理属性,并利用视觉语言蒸馏将语义先验转移至体素级监督。实验表明,相比现有方法,PhysCreator 在视觉质量、物理合理性和泛化能力上均表现更优。
针对交互式视频世界模型需自回归生成但直接适配会破坏视觉先验的问题,本文提出 Mix Forcing 范式。该方法利用双向与自回归的混合注意力机制(MoBA),联合进行教师强制与双向训练以构建强因果初始化,并通过分块交叉注意力支持在线文本交互。
V-JEPA2 与 VideoMAE 两个冻结的自监督视频编码器在双体设置下,能可靠区分弹性与非弹性碰撞。V-JEPA2 的动能读数可跨环境迁移且其预测器对产生动能的碰撞更敏感,但两模型均无法保持随几何变化而稳定的摩擦系数。该研究揭示了现有工作仅关注单物体量的局限,表明关系物理属性(如动量传递)在视频编码器中的表征能力存在显著差异。
Gonzalo Gomez-Nogales 等人发布了 Pair-Free Coarse-to-Real Video Generation 模型,该方法通过 DINO-R2C 模型在图像特征空间学习从真实到粗糙图像的映射,利用现有编辑与三维重建工具构建图像对进行监督,从而摆脱了对成对视频数据的依赖。
ALPS 是一种预训练的视觉状态编码器,旨在将物理状态信息、原生语言对齐和像素重建能力统一于单一的 patch token 表示中。研究团队仅使用静态图像和文本数据,从 scratch 预训练了 ViT-B/16 模型,并通过跨视图自蒸馏进行优化。
推荐理由:该预训练视觉状态编码器统一了物理状态、语言对齐与像素重建,在多项基准上实现最优聚合误差并支持下游策略规划。
针对 Joint-Embedding Predictive Architectures (JEPAs) 存在的对象信息分散、缺乏显式实体对应以及点距离对空间位移不敏感等挑战,该研究提出 Slot-based Joint-Embedding Predictive Architecture (Slot-JEPA)。
针对多智能体视频世界模型难以保持跨智能体与时空一致性的问题,本文提出 OverSeer 方法,通过引入固定空间的辅助视角作为世界中心表征的代理,并采用 delta-VAE 对冗余静态信息进行高效压缩。实验在 Minecraft、Doom 及真实多相机捕获场景中验证了该方法能显著提升模型的世界与智能体一致性,且计算开销大幅降低。
针对现有世界模型编码器无法自适应过滤任务无关信息的痛点,本文提出了 ConfigWM 方法。该方法利用语言描述的任务作为配置信号,引导视觉嵌入映射到特定任务的状态空间,从而选择性保留相关信息并抑制干扰。在动作条件动态学习的基础上,实验表明 ConfigWM 在噪声环境中的规划成功率平均比最强竞争方法高出 22.3%,且在物理量探测和受干扰检索任务中表现稳健。
论文揭示了基础模型作为智能体时潜伏投毒攻击的两大风险:无害微调可激活未见过的新危害行为及多种危害行为的共存激活。作者提出 LookAhead Defense 方法,利用投毒者必须保留发布阶段安全行为的特性构建 Safety Buffer,并预览无害微调更新以仅惩罚削弱安全的行为,在跨语言和多模态智能体上将有害行为率从最高 93.9% 降至 14.2%,同时保持低误拒率和竞争力用性。
针对大语言模型生成的 CAD 装配体常无法实现预期物理功能的问题,本文提出 FunCAD-Harness 框架,将抽象需求转化为候选方案专用的物理测试,利用仿真反馈指导设计迭代。研究构建了涵盖 46 类机械结构的 FunCADBench 基准,实验表明该方法能发现视觉检查难以察觉的机械故障,显著优于标准仿真增强基线。
InfiniDream 是一个由 VLM 驱动的框架,旨在解决现有方法受限于预定义工厂和 API、难以创建新型资产的问题。该框架提出符号约束资产生成与端到端文本到世界管线,在 100 个物体及 20 个场景生成任务上提升了四项感知指标并通过了人类偏好评估。项目页面已公开,代码与权重许可状态待定,相关论文为 arXiv 预印本版本。