STRIPS-WM:从图像学习基于命题的 STRIPS 风格世界模型
论文介绍 STRIPS-WM 框架,旨在解决机器人仅通过图像序列进行长视界视觉操作时的规划难题。该方法首先从图像中归纳有限抽象转换图,进而学习潜在二元谓词和每个动作标签对应的 grounded propositional 算子,构建具有稀疏前提条件和增删效果的符号化动作模型。
推荐理由:提出 STRIPS-WM 框架,从视觉过渡直接学习符号化世界模型,在视觉重排任务上优于现有基线。
论文介绍 STRIPS-WM 框架,旨在解决机器人仅通过图像序列进行长视界视觉操作时的规划难题。该方法首先从图像中归纳有限抽象转换图,进而学习潜在二元谓词和每个动作标签对应的 grounded propositional 算子,构建具有稀疏前提条件和增删效果的符号化动作模型。
推荐理由:提出 STRIPS-WM 框架,从视觉过渡直接学习符号化世界模型,在视觉重排任务上优于现有基线。
论文 OrbiSim 提出一种新型机器人仿真范式,将世界模型定义为完全可微的物理引擎,以连接结构化场景资产、神经动力学与下游强化学习。该方法支持从显式状态转换到视觉观测生成的端到端可微性,从而解决传统模拟器难以处理的接触建模、稀疏奖励下的梯度策略优化及直观物理推理等任务。
推荐理由:该工作提出将世界模型作为可微物理引擎,支持端到端梯度优化与接触建模,为机器人策略训练提供新路径。
论文介绍 Self-Building Labs(SBL),该系统能从空房间或现有设施出发,自动构建实验室布局、数字孪生、机器人技能及实验工作流以达成高层科学目标。研究通过量子点合成实验验证了其在不同机器人与配置下的端到端能力,旨在提升科学自动化的可访问性、灵活性与可扩展性。
该研究提出一种语言对齐框架,将任意嵌入空间与可解释辅助数据链接以解决不可解释性问题。在 S2BMS 和 SatBird 两个物种分布建模任务中,AlphaEarth 嵌入在 7 项指标中的 6 项超越先前最先进模型,且基于概念检索的平均表现优于地球观测视觉语言模型。对齐后的概念成功恢复物种 - 栖息地关联(ρ=0.44),证明抽象嵌入可在领域专家语言中被 interrogated。
该研究质疑预训练视觉模型中“线性表征假设”的有效性,指出仅凭线性探针的高准确率无法区分真正的线性世界模型与核机器(curved manifold)。作者提出反向预测性、谱浓度和分布外泛化三种不对称诊断方法,在 SVG-World 等基准上验证了预训练产生的结构介于随机核与线性世界模型之间。
推荐理由:文章指出线性探针高准确率不代表存在线性世界模型,提出反向预测性等三种诊断方法区分几何结构。
该论文介绍了一种针对单目视角合成(monocular view synthesis)的新框架 ESC,旨在解决从 2D 扩散模型生成 3D 一致新视图的挑战。方法通过联合生成目标视图及其对应的深度图,并在扩散流程中条件化于源图像、源深度和目标相机射线,强制模型在极端视角变化下进行 3D 空间推理。
该研究针对现有方法在视频生成中难以兼顾动态多样性与物理一致性的问题,提出 PhysRepair 框架。该方法采用生成 - 诊断 - 修复范式,通过时空因果约束定位无效状态并指导局部重生成,结合经验增强情境学习适应多样物理故障。实验显示其在固体力学、流体力学等多个领域均能提升视频生成的物理合理性。
Learning Robot Metareasoning 将最优计算预算识别为半马尔可夫决策过程,通过强化学习策略根据状态动态调整机器人动作承诺与求解器时间。该方法在地面导航、敏捷四旋翼飞行及富接触操作任务中,均能自适应发现高效推理模式并超越固定预算基线。该研究解决了规划与反应的历史权衡问题,相关代码与论文已作为实验性预印本公开。
论文提出 Hindsight Inverse JEPA Planning (HIJP) 框架,旨在解决基于世界模型的视觉规划需进行昂贵在线搜索的问题。该方法通过引入目标条件逆模型直接预测动作,并在训练阶段利用回顾性重标记策略塑造视觉表征与动作转换的一致性。
推荐理由:提出 HIJP 框架,通过隐式逆动力学替代在线搜索实现无搜索规划,在四项视觉控制任务中成功率达 86.8% 且速度提升显著。
针对非结构化环境中的移动操作任务,本文提出了一种结合混合任务表示与任务优先全身学习的强化学习框架,旨在协调运动与操作并保持任务一致的末端执行器行为。研究团队开发了轻量级四足操作机器人平台进行验证。实验结果显示,该方法在坡度高达 30 度、楼梯及可变形地形等复杂场景中成功部署,证明了所学习策略在真实环境中的可行性及全身协调对地形自适应的重要性。
当前视频世界模型的内存测试常将场景设置、动作执行与结果展示混为一谈,导致低分被误读为遗忘。本文提出 MIST 评测,分离变化指令与应留下的记忆痕迹,定位到模型能设景却无法执行指令的瓶颈。
推荐理由:提出 MIST 评测与 M3-Agent 方法,从执行侧诊断视频世界模型的记忆失效瓶颈并提升基准。
该论文提出 Momentum 方法,通过参考相机阵列构建同步视频作为场景动态共享记忆,利用图结构在相邻设备间传播生成以协调时空一致性。WorldUpdate 阶段生成全局动态记忆,WorldInteract 阶段将目标相机控制锚定于此记忆,确保移出视野的动态内容(如车辆、行人)能保持状态并在重入时一致呈现。
推荐理由:原文提出了利用多机位视频记忆与图传播机制解决动态场景一致性的方法,并提供了 CARLA 数据捕获流程与评估框架。
arXiv 发布了一篇关于 LithoWorld 的研究论文,该工作提出了一种基于扫描电子显微镜(SEM)图像的终点世界模型,旨在解决光刻工艺漂移导致的图案不合格问题。
推荐理由:该预印本提出利用 SEM 图像进行光刻工艺窗口恢复的世界模型,在测试集上取得优于基线的方法性能。
针对具身智能在开放世界中因遮挡和视角变化导致空间关系感知困难的问题,该研究提出了一种名为 AWAM 的主动世界 - 动作模型(Active World-Action Model)。
FloodVLM-Pix 提出首个包含 13.1 万图像块和 44.3 万文本描述的洪水多模态基准,通过洪水先验模块消除注意力偏差并解决云层干扰。该语言引导像素级理解模型在描述质量与分割性能上均优于现有视觉语言模型及分割模型。代码与数据将按原文链接发布。
论文提出了 LAW 框架,通过语义子任务进度将语言推理、动作生成和世界建模统一起来。其混合专家视觉语言模型负责规划剩余子任务并融合世界动作模型的提议,同时异步评估执行状态;世界动作模型利用 Transformer 专家混合架构进行视频与动作联合建模。
推荐理由:该工作提出 LAW 框架,在 RoboTwin 基准上达到 95.56% 成功率并开源 OpenWAM-alpha,展示了语言推理、动作生成与世界建模的统一路径。
这篇论文是一篇关于 Vision-Language-Action (VLA) 模型记忆机制的系统性综述。文章指出,当前 VLA 模型的受限时间上下文限制了长期经验的积累与复用,因此记忆成为具身智能体进行长程推理和自适应决策的关键组件。
论文介绍了一种名为 Spatial-TRM 的紧凑递归模型,旨在解决大型视觉语言模型(VLM)在处理自然图像中的空间关系与物理约束时的挑战。该模型通过共享权重实现了高准确率且仅包含 11.2M 可训练参数,支持六种空间关系、三种参考系及开放词汇锚点物体。
该论文提出 ORD-WM 模型,旨在解决现有基于图像的稠密三维世界模型在机器人操作中缺乏显式物体级刚体运动约束的问题。模型利用符号距离场监督的向量神经元变分自编码器编码几何感知潜在表示,并通过动作条件化的动力学模型预测物体级的 SE(3) 运动增量。
论文提出了 BeJEPA,这是一个通过无监督强化学习从人类运动先验和机器人交互中学习的目标条件化行为世界模型。该模型利用联合嵌入预测架构(JEPA)学习身体构型与世界放置的共享表示,其中动态预测器在动作下预测下一状态嵌入,后继预测器则总结策略预期的折扣未来状态嵌入。
该综述针对轨道操作和近距离作业,梳理了从感知到部署的自主空间机器人基础模型架构及验证方法。文章指出地面向太空动力学转移测试尚不足,并探讨了事件相机、脉冲神经网络及闭环重验证等关键技术路径。
针对固定翼飞机进近着陆阶段对可靠定位及完整性(trustworthy outputs)的需求,本文提出 PASS 系统。该系统在统一时空框架下集成可配置机场环境、规定轨迹、惯性模拟、标定立体图像及连续跑道相对真值,支持可控传感器误差与环境变化以生成用于算法开发的测试数据。
推荐理由:该工作提出可控的进近仿真系统 PASS,支持 CAT III 完整性算法开发,并引入 SRST 指标量化仿真与现实的差距。
论文 SenseSwarm 提出一种轻量级学习地图预测器,将其折叠进群体占位图的启发式引导场,以在物理覆盖前预判未知建筑区域。作者在 HouseExpo、HKUST 和 KTH 的十二个真实楼层基准上进行了测试,结果显示该共享预测器在多机器人规模下显著提升了建图速度并降低了接触率,而单机器人预测器则失效。材料为预印本,未提及开源代码或模型权重下载入口。
针对自然语言描述生成高质量视频时意图匹配耗时的问题,本文提出 ProactGen 框架。该框架利用强化学习训练视觉语言模型作为提问策略,基于生成的视频草稿主动向用户询问关键信息以明确意图。实验表明,ProactGen 在目标对齐方面比直接生成提升至少 1.8 倍,且单轮澄清的时间效率优于最强基线经过四轮迭代的效果。
推荐理由:提出 ProactGen 框架,利用强化学习训练视觉语言模型主动提问以澄清用户意图,显著降低生成迭代成本并提升与目标的一致性。
论文介绍 ArchWorld 基准,包含互联网规模的真实地标照片集合及丰富元数据,旨在评估和改进单步前馈估计场景结构的 3D 基础模型(3DFM)。研究分析了当前模型在不同地理区域的性能差异,发现误差不仅源于数据分布和场景规模,还受区域特有建筑特征与背景干扰影响。
论文提出 DriveWorld3D 框架,融合时序视频学习与多传感器测量约束,构建包含路面、体积占用及动态实体的统一世界状态。其离线组件利用 NeRF 或 3D Gaussian Splatting 重建场景并扩展长尾条件,同时限制生成内容作为几何真值的使用。该研究通过显式证据管理,旨在在匹配计算预算下减少危险的空间预测错误与遮挡风险,所有性能声明均待实验验证。
论文提出 Agent World Model in the Wild (WildAWM),这是一个完全由开源模型驱动的流水线,用于合成可控的图形用户界面、模型上下文协议服务和命令行接口联合支持的执行环境。
推荐理由:提出全开源的 WildAWM 环境合成管线,生成需百步以上解决的长程任务以训练通用计算机操作智能体。
针对联合嵌入预测架构(JEPA)中不可预测特征难以编码的问题,研究提出“预测闭合”表征法,证明特征选择取决于集合属性而非个体可预测性。实验表明,当某特征有助于预测其他特征时,即使其本身不可预测也能被保留;通过辅助目标或侧信息间接引导策略可强化特定特征的表示。该方法为 JEPA 的特征选择提供了新的理论视角与实验验证。
论文研究大语言模型智能体如何通过外部记忆存储执行经验以改进任务表现,指出保留抽象规则虽能复用策略但会导致错误通过检索与重生成循环持续传播(即错误复现)。作者提出 Anti-Persistence 设计,仅积累轨迹和结果并在需要时按需重构指导,执行后丢弃合成内容以防止直接复用。
Rubric-based reinforcement learning 在训练中常因奖励失效导致分数坍塌或虚假高分。本文提出 HarnessRL,通过任务采样、回滚引导和评分标准三个接口与策略共同演化,利用训练时记忆检索历史证据来归因失败并驱动更新。
VAST 正式发布并开源实时世界模型 EdenLive,首次实现在实时生成前提下同时完成任意参考输入、任意画风生成和长时连续运行。在单张 Nvidia RTX 5090 消费级显卡上,720P 条件下 5B 模型生成速度超过 24FPS,端到端延迟为百毫秒级,支持分钟级画面持续生成。
推荐理由:VAST 正式发布并开源实时世界模型 EdenLive,支持在消费级显卡上实现分钟级连续生成与交互渲染。
杭州具身大脑企业格物通智近日宣布完成近亿元天使轮融资,资金将用于物理反演世界模型预训练、硬件构建及真实数据采集。公司依托“世界模型+PSI物理自进化”体系,计划于2026年年底在纺织服装等领域完成首个PoC交付。
针对联合嵌入预测架构(JEPA)缺乏人类可读接口的挑战,该观点文章提出“地面、结构、验证、行动”四阶段研究议程。现有工作仅初步支持“地面”阶段,而系统分析潜在结构、因果验证及干预仍属未探索领域。此举旨在推动从单纯解码表征转向对潜在世界的理解、验证与行动。
该预印本提出 CoEvo-RSI 框架,旨在解决递归自我改进(RSI)智能体中的“脑 - 身”错配问题。通过共享进化档案和执行反馈,元代理协调执行架构发展与模型选择或合并及后续适应,以对齐继承的能力与演进的执行需求。
论文提出了 CoworkEnv,这是一个用于合成可执行训练环境的框架,旨在帮助 AI 协作者(AI coworkers)协调工具、跨轮次通信并适应变化的工作空间状态。
优必选发布自研具身世界模型 Thinker-WM,在 WorldOlympiad、EWMBench 和 WorldArena1.0 Track-1 三大公认基准评测中均位列第一。
推荐理由:优必选推出 Thinker-WM,在三大世界模型基准中均获第一,提供统一多模态表征架构与开源入口。
文章梳理了上海地区 VLA 与世界模型的技术路线差异、融合路径及多企业落地进展,并指出产业标准与评测体系正在加速制定。VLA 解决“能干”,世界模型解决“想清楚再干”。
量子位获悉,曾在2022年获清华特奖的吴海旭已开启世界模型创业,公司名为物原科技,已完成多轮融资。其创业方案选择从搭载物理建模能力的世界模型切入,知情人士透露该思路延续了其代表作 GeoPT 的研究路线。
HERE Technologies 通过位置推理引擎消除大模型位置幻觉,将软件开发效率提升上千倍、功能迭代提速 10 倍。其仿真数据体系支持自然语言查询全球场景并输出 OpenDRIVE/OpenUSD 格式,实现无需真实硬件的全链路测试验证。该方案助力车企跨越法规与环境差异,安全复制中国 AI 创新至欧美日等全球市场。
针对边缘设备硬件异构、软件栈碎片化及资源预算紧张的问题,该研究提出了 EdgeKernelBench 基准测试框架和 LEKA 分层优化代理。实验表明,直接生成的最佳模型 Correct@1 为 64.5% 但 [email protected] 仅为 25.5%,功能正确性无法保证性能收益;引入分层 IR 的 LEKA 在同等条件下将 [email protected] 提升至 43.5%。