从视图到世界:面向视觉语言模型的 3D 世界主动探索框架
针对现有视觉语言模型在三维空间推理中受限于被动视角的问题,本文提出 View-to-World (V2W) 框架。该框架通过重建包含几何、相机姿态和语义的显式 3D 世界,使 VLM 能通过多轮交互主动获取空间证据进行推理。实验表明,该方法在不需训练的情况下显著优于基线,且经强化学习优化探索策略后达到最先进水平。
推荐理由:提出无需训练的主动探索框架,将 VLM 从被动感知升级为基于 3D 世界的主动推理。
技术方向
世界状态建模、预测、可控生成与交互;区分视觉生成、空间导航和具备物理预测能力的系统。
574 条精选近 30 天 307 条共收录 1,758 条
针对现有视觉语言模型在三维空间推理中受限于被动视角的问题,本文提出 View-to-World (V2W) 框架。该框架通过重建包含几何、相机姿态和语义的显式 3D 世界,使 VLM 能通过多轮交互主动获取空间证据进行推理。实验表明,该方法在不需训练的情况下显著优于基线,且经强化学习优化探索策略后达到最先进水平。
推荐理由:提出无需训练的主动探索框架,将 VLM 从被动感知升级为基于 3D 世界的主动推理。
论文提出了 Anchor-WM 方法,利用预训练的 DINO 特征作为教师来学习紧凑的潜在状态,而非直接将其作为世界模型的状态空间。该方法通过动作条件化的动力学学习和仅用于蒸馏的训练头,在保留视觉信息的同时避免表示坍塌。
推荐理由:提出用预训练特征指导学习紧凑潜在状态,在四个环境中实现最佳成功率并显著加速规划。
论文 Time-JEPA 针对视频世界模型缺乏物理状态演化信息的不足,提出用低维时序对齐的物理量作为辅助监督信号进行微调。该方法在自动驾驶、机器人操作和人体运动等多个领域均提升了当前状态解码、多步未来预测及运动学重建性能,且在跨条件与变量分布偏移下表现更稳健。外部评估显示其能增强对物理异常及交互的敏感度,且方法可迁移至不同视频骨干网络。
推荐理由:该工作提出用低维时序物理量辅助监督视频世界模型,在自动驾驶、操作与人体运动等多域任务上提升状态解码与未来预测能力。
论文提出 QualiDrive 方法,将端到端自动驾驶中的轨迹生成沿驾驶质量轴而非高斯噪声轴进行扩散。该方法通过构建场景特定的质量阶梯,根据测得的驾驶效应对观测到的轨迹排序,并学习通过有序的低质到高质细化来逆转这种退化。
推荐理由:提出沿驾驶质量轴进行扩散的 QualiDrive 方法,在 NAVSIM 上实现 SOTA EPDMS 并显著提升高分候选比例。
针对终身智能体在生成、交互和内存预算紧张时的失效问题,论文提出 TokenWorth 轻量级在线框架,通过稀疏执行反馈学习查询依赖的记忆价值,并应用于检索与有界管理。实验显示该方法在三类环境及本地/API部署中均取得最高任务成功率且输出 token 最少。代码已开源。
推荐理由:提出 TokenWorth 框架,在资源受限下学习记忆价值以优化终身适应。
论文提出 Fréchet Forcing 方法,用于微调世界模型以解决长序列生成中的漂移问题。该方法在无需教师模型或在线评论器的情况下,利用流匹配损失、上下文保真度和现实匹配三个约束,使模型在机器人操作和相机控制探索任务中能在超过 4,000 帧的长序列内保持稳定性并遵循动作指令。材料为 arXiv 预印本,未提及同行评审状态或具体部署许可。
推荐理由:提出无需教师模型的 Fréchet Forcing 方法,通过流匹配与统计约束解决长序列生成漂移问题。
新加坡具身创企 Ropedia 联合南洋理工大学等机构发布了跨本体移动操作世界模型 Ropedia W0。该模型基于视频扩散架构,通过统一的动作表示(相机运动与投影骨架)实现人类、机械臂及人形机器人间的预测能力迁移。
推荐理由:该团队构建的跨本体世界模型在五大评测基准中均排名第一,且未经后训练即可超越全量数据训练的竞品,展示了显著的少样本优势。
该论文介绍 Perceptive BFM 框架,旨在解决现有运动中心基础策略假设参考动作已物理兼容环境的局限。方法包括开发地形一致参考合成(TCRS)技术,通过足点构建、摆动优化等将人类运动片段转化为符合地形参考;训练盲适应参考教师网络并通过目标帧动作对齐迁移至部署端学生模型;学生模型为身份门控 Transformer 追踪器,利用残差路径保留先验并仅在必要时进行局部修正。
推荐理由:该预印本提出将人类运动先验适配至机器人地形感知的框架,通过合成地形一致参考与盲适应教师网络实现策略迁移。
论文介绍 STRIPS-WM 框架,旨在解决机器人仅通过图像序列进行长视界视觉操作时的规划难题。该方法首先从图像中归纳有限抽象转换图,进而学习潜在二元谓词和每个动作标签对应的 grounded propositional 算子,构建具有稀疏前提条件和增删效果的符号化动作模型。
推荐理由:提出 STRIPS-WM 框架,从视觉过渡直接学习符号化世界模型,在视觉重排任务上优于现有基线。
论文 OrbiSim 提出一种新型机器人仿真范式,将世界模型定义为完全可微的物理引擎,以连接结构化场景资产、神经动力学与下游强化学习。该方法支持从显式状态转换到视觉观测生成的端到端可微性,从而解决传统模拟器难以处理的接触建模、稀疏奖励下的梯度策略优化及直观物理推理等任务。
推荐理由:该工作提出将世界模型作为可微物理引擎,支持端到端梯度优化与接触建模,为机器人策略训练提供新路径。
该研究质疑预训练视觉模型中“线性表征假设”的有效性,指出仅凭线性探针的高准确率无法区分真正的线性世界模型与核机器(curved manifold)。作者提出反向预测性、谱浓度和分布外泛化三种不对称诊断方法,在 SVG-World 等基准上验证了预训练产生的结构介于随机核与线性世界模型之间。
推荐理由:文章指出线性探针高准确率不代表存在线性世界模型,提出反向预测性等三种诊断方法区分几何结构。
论文提出 Hindsight Inverse JEPA Planning (HIJP) 框架,旨在解决基于世界模型的视觉规划需进行昂贵在线搜索的问题。该方法通过引入目标条件逆模型直接预测动作,并在训练阶段利用回顾性重标记策略塑造视觉表征与动作转换的一致性。
推荐理由:提出 HIJP 框架,通过隐式逆动力学替代在线搜索实现无搜索规划,在四项视觉控制任务中成功率达 86.8% 且速度提升显著。
当前视频世界模型的内存测试常将场景设置、动作执行与结果展示混为一谈,导致低分被误读为遗忘。本文提出 MIST 评测,分离变化指令与应留下的记忆痕迹,定位到模型能设景却无法执行指令的瓶颈。
推荐理由:提出 MIST 评测与 M3-Agent 方法,从执行侧诊断视频世界模型的记忆失效瓶颈并提升基准。
该论文提出 Momentum 方法,通过参考相机阵列构建同步视频作为场景动态共享记忆,利用图结构在相邻设备间传播生成以协调时空一致性。WorldUpdate 阶段生成全局动态记忆,WorldInteract 阶段将目标相机控制锚定于此记忆,确保移出视野的动态内容(如车辆、行人)能保持状态并在重入时一致呈现。
推荐理由:原文提出了利用多机位视频记忆与图传播机制解决动态场景一致性的方法,并提供了 CARLA 数据捕获流程与评估框架。
arXiv 发布了一篇关于 LithoWorld 的研究论文,该工作提出了一种基于扫描电子显微镜(SEM)图像的终点世界模型,旨在解决光刻工艺漂移导致的图案不合格问题。
推荐理由:该预印本提出利用 SEM 图像进行光刻工艺窗口恢复的世界模型,在测试集上取得优于基线的方法性能。
论文提出了 LAW 框架,通过语义子任务进度将语言推理、动作生成和世界建模统一起来。其混合专家视觉语言模型负责规划剩余子任务并融合世界动作模型的提议,同时异步评估执行状态;世界动作模型利用 Transformer 专家混合架构进行视频与动作联合建模。
推荐理由:该工作提出 LAW 框架,在 RoboTwin 基准上达到 95.56% 成功率并开源 OpenWAM-alpha,展示了语言推理、动作生成与世界建模的统一路径。
针对固定翼飞机进近着陆阶段对可靠定位及完整性(trustworthy outputs)的需求,本文提出 PASS 系统。该系统在统一时空框架下集成可配置机场环境、规定轨迹、惯性模拟、标定立体图像及连续跑道相对真值,支持可控传感器误差与环境变化以生成用于算法开发的测试数据。
推荐理由:该工作提出可控的进近仿真系统 PASS,支持 CAT III 完整性算法开发,并引入 SRST 指标量化仿真与现实的差距。
针对自然语言描述生成高质量视频时意图匹配耗时的问题,本文提出 ProactGen 框架。该框架利用强化学习训练视觉语言模型作为提问策略,基于生成的视频草稿主动向用户询问关键信息以明确意图。实验表明,ProactGen 在目标对齐方面比直接生成提升至少 1.8 倍,且单轮澄清的时间效率优于最强基线经过四轮迭代的效果。
推荐理由:提出 ProactGen 框架,利用强化学习训练视觉语言模型主动提问以澄清用户意图,显著降低生成迭代成本并提升与目标的一致性。
论文提出 Agent World Model in the Wild (WildAWM),这是一个完全由开源模型驱动的流水线,用于合成可控的图形用户界面、模型上下文协议服务和命令行接口联合支持的执行环境。
推荐理由:提出全开源的 WildAWM 环境合成管线,生成需百步以上解决的长程任务以训练通用计算机操作智能体。
VAST 正式发布并开源实时世界模型 EdenLive,首次实现在实时生成前提下同时完成任意参考输入、任意画风生成和长时连续运行。在单张 Nvidia RTX 5090 消费级显卡上,720P 条件下 5B 模型生成速度超过 24FPS,端到端延迟为百毫秒级,支持分钟级画面持续生成。
推荐理由:VAST 正式发布并开源实时世界模型 EdenLive,支持在消费级显卡上实现分钟级连续生成与交互渲染。