Orbia:首套用于系统性评估交互式世界模型三维一致性的基准
视频生成器虽能构建交互世界,但生成的帧未必描绘一致的三维场景。现有基准缺乏对三维一致性的系统性评估。本文提出 Orbia 基准,首次从输入保持、生成内容持久性和三维自洽性三个维度,通过受控探索与回访机制,量化评估模型在外观、几何及空间稳定性上的表现。
推荐理由:Orbia 基准填补了交互式世界模型在三维一致性评估上的空白,提供了一套涵盖输入保持、生成内容持久性与三维自洽性的系统评测框架。
技术方向
世界状态建模、预测、可控生成与交互;区分视觉生成、空间导航和具备物理预测能力的系统。
574 条精选近 30 天 307 条共收录 1,758 条
视频生成器虽能构建交互世界,但生成的帧未必描绘一致的三维场景。现有基准缺乏对三维一致性的系统性评估。本文提出 Orbia 基准,首次从输入保持、生成内容持久性和三维自洽性三个维度,通过受控探索与回访机制,量化评估模型在外观、几何及空间稳定性上的表现。
推荐理由:Orbia 基准填补了交互式世界模型在三维一致性评估上的空白,提供了一套涵盖输入保持、生成内容持久性与三维自洽性的系统评测框架。
论文介绍 MAI-Gym 这一开放的一体化平台,统一了移动端、电脑端和 Web 端的 GUI Agent 评测、数据收集及在线强化学习训练流程。该平台通过共享部署管道确保行为一致性,支持十个基准测试并扩展至两万并行环境实例。
推荐理由:MAI-Gym 平台统一了移动与计算机环境的 GUI Agent 评测与在线强化学习训练,支持合成任务并实现了从模拟到物理设备的技能迁移。
论文介绍 CarryOn,一种将长周期任务上下文组织为可复用对象的运行时机制,避免依赖压缩的历史记录。该方法通过维护载体记录、结合环境检查更新基础信息并保留未受影响记录,在 OSWorld 2.0 和 BrowseComp-Plus 基准上分别提升性能 5.8% 和 7.0%,同时降低 Token 使用量 51.9% 和 22.9%。材料为预印本论文,提供 GitHub 项目页面链接。
推荐理由:提出 CarryOn 对象化上下文运行时,在 OSWorld 和 BrowseComp-Plus 上提升性能并显著降低 Token 消耗。
Google DeepMind 正式上线通用物理推理模型 Gemini 4 Argon,该模型具备视觉语义推理、物理理解和代码生成能力。Argon 支持通过观看视频或手绘草图构建仿真环境(Real2Sim),在 MuJoCo 等环境中进行零样本控制与技能学习,并能分析操作过程以优化机器人表现。
推荐理由:DeepMind 上线通用物理推理模型 Gemini 4 Argon,支持从视频或草图构建仿真环境、零样本控制及自我改进优化机器人动作表现。
针对长程智能体难以从早期错误中恢复的问题,本文提出了 BELIEFWEAVER 框架。该方法通过维护前沿、尝试、观测和检查点的关系信念状态,利用执行证据更新优先级并控制执行,同时使用隐式世界模型评估修复假设以指导探索。研究进一步通过监督微调与在线策略蒸馏,将推理组件压缩至 9B 学生模型,在三个终端基准测试中相比原生基线显著提升了最终得分,并将教师模型 API 调用成本降低了 54.8%。
推荐理由:该工作提出结合信念更新与世界模型的长程恢复框架,并通过蒸馏将推理成本降低一半以上。
针对长程半可验证智能体任务依赖评分标准却易受错误报告影响的问题,研究提出 Sauron 验证器。该方法独立调查环境状态与执行轨迹,仅在验证来源后接受声明,并通过有界查询减少冗余工作。
推荐理由:Sauron 方法在长程任务中通过独立验证证据提升评估准确率,相比基线成本更低且抗攻击性强。
世界动作模型(WAMs)利用视频生成预测机器人操作的未来视觉动态,但迭代去噪引入了闭环控制的额外延迟。研究发现静态背景结构收敛快而夹持器与物体的交互动力学需多步才能显现,直接截断会丢失关键信息。
推荐理由:针对多步视频生成在闭环控制中的延迟问题,提出 DIDO 方法将交互动力学蒸馏至单步去噪,结合视觉推理 token 与 DINOv3 对齐,显著降低推理耗时并提升操作成功率。
针对驾驶世界动作模型(WAMs)在强化学习后训练阶段缺乏替代轨迹视觉监督的问题,本文提出 SimVTA 框架。该方法结合轨迹优化与视频监督,利用真实世界模拟器渲染高奖励候选轨迹的未来视频,并在有限渲染预算下优先处理高误差未来以更新共享表征。
推荐理由:提出 SimVTA 框架,利用仿真生成视频监督以解决驾驶世界动作模型的轨迹规划问题。
论文提出 SmolWAM,这是一种从 Cosmos Policy 衍生出的潜在世界 - 动作模型(latent WAM),旨在解决视频扩散 Transformer 在资源受限边缘设备上计算成本过高的问题。
推荐理由:该工作提出 SmolWAM,通过保留预训练主干并重构推理接口,在边缘设备上实现了高效的世界 - 动作联合预测。
arXiv 论文 GLIMPSE 提出一种带多精度坐标和几何条件谱衰减的全局 - 局部记忆接口,以解决相机回看场景时因深度或姿态误差导致的鬼影问题。该方法通过位置传输避免重采样,利用局部块记忆提供视图特定外观,用循环全局记忆提供场景上下文,并在匹配检索与读取预算下提升了几何对应和光度一致性。材料为预印本,未报告真实机器人部署结果。
推荐理由:提出带多精度坐标与几何条件谱衰减的全局 - 局部记忆接口,旨在降低相机回看场景时的鬼影误差。
本文介绍 ELMA,一个具有密集分段注释的长期动作生成数据集,旨在解决现有模型难以处理涉及指代关系的跨段约束问题。研究团队通过全自动管道从网络视频中提取高质量连续 30 秒片段,并微调了最先进的动作生成模型以融入长程上下文。
推荐理由:ELMA 数据集与基准揭示了现有模型在处理长程指代性指令时的不足,为长期动作生成提供了新的评估标准。
ManeuverFlow 是一种用于复杂场景端到端规划的新方法,旨在解决多查询回归模式坍塌及候选集规模受限的问题。该方法通过混合专家 MeanFlow 场一步生成不同意图的轨迹,并利用世界模型预测的当前与未来特征聚合为路径证据,进而预测 PDM 因子并优化局部 Frenet 残差以筛选最佳候选。
推荐理由:该文提出 ManeuverFlow,利用世界模型预测的未来证据对轨迹进行生成与精细化评估,在 NAVSIM 和 WorldEngine 基准上取得领先分数。
该论文针对基于回归的 RL 在流模型中面临的冷启动病理与几何引导爆炸问题,提出 VideoAWR 方法。该方法通过将采样与优化锚点解耦,利用 EMA 参考策略生成引导式 rollout 恢复奖励可分性,同时训练策略对无引导条件锚点进行校正。
推荐理由:提出 VideoAWR 方法解决视频流模型优化中的冷启动问题,实现单分支推理且保留 CFG 语义。
论文介绍 Grounded-Dreamer 框架,旨在解决机器人操作策略学习中大规模多样化动作标注数据稀缺的问题。该方法结合视频生成模型的视觉真实性与仿真器的物理引擎,从少量描绘任务初始状态的真实图像出发,自动重建任务相关物体和相机几何并在仿真中对齐,进而收集符合物理规律的轨迹。
推荐理由:该工作提出利用视频世界模型与物理引擎结合,从少量真实图像生成带物理约束的操作数据以训练策略。
针对现有视觉语言动作模型缺乏显式监督、世界动作模型存在额外推理成本及误差传播问题,本文提出 Forward Dynamics Models(FDM)。该模型通过动作到未来的范式,利用真实未来状态监督策略学习,在推理阶段完全跳过未来生成以降低成本。实验表明,该方法在仿真和真机任务上均有效,在 LIBERO 基准上平均成功率达 99.4%,相比 VLA 和 WAM 方法在现实任务中提升最高 13%。
推荐理由:提出动作到未来范式,通过动作特征条件化预测未来状态,避免误差传播并跳过推理时的生成成本。
该研究针对质量与万向节刚度未知的推车任务,提出 Belief-Overlap Partial Inversion(BOPI)框架,将在线估计、基于流的规划与全身控制闭环。
推荐理由:提出 BOPI 方法解决信念更新时的重规划冲突,在仿真与硬件上显著降低误差并实现非完整约束移动。
世界动作模型(WAMs)继承了预训练视频生成模型的先验,但其变分自编码器(VAE)的视觉表征是为重建优化的而非操作。本文系统对比了多种视觉表征、五种融合机制及特征组合,发现强通用视觉表征能提供更广鲁棒性;通道级联合预测取得最高平均成功率;额外信息源需根据任务相关性选择。
推荐理由:系统对比了视觉表征与融合机制,提出 R^2-WAM 架构,在 RoboCasa GR1 Tabletop 任务上达到 84.7% 成功率。
论文提出利用视觉世界模型作为树搜索传播器的采样运动规划方法,解决传统优化器在长视界任务中停滞的问题。作者设计了最近邻引导的 RRT 和投影基 KPIECE 两种探索策略,并在四个仿真域及真实推方块任务上验证了该方法在规划时间和成功率上的优势。
推荐理由:针对长视界任务中优化器停滞问题,提出将采样策略应用于世界模型潜在空间的方法,在仿真与真实机器人实验中均优于传统基线。
论文提出 LeapBot-JAC 方法,旨在解决固定动作令牌预算下的执行组织问题。该方法在共享动作专家内分配稀疏的未来控制引用和密集的当前执行目标,利用定向注意力机制让执行令牌读取受可见性约束的参考令牌。
推荐理由:提出 LeapBot-JAC,在固定动作令牌预算下通过联合动作链组织稀疏参考与密集执行,提升 LIBERO 任务成功率。
论文介绍 EASG(Explicit Action-Space Grounding)框架,旨在解决将预训练视觉语言模型转化为通用机器人策略的挑战。该方法通过将工具中心点(TCP)坐标系投影到手腕相机观测中,并将连续机器人动作表达为 VLM 原生文本生成接口,使 VLM 能直接利用其现有的视觉 - 空间推理能力生成可执行的动作,无需机器人动作预训练或额外动作模块。
推荐理由:提出 EASG 框架,利用预训练 VLM 原生文本生成接口实现零样本机器人操作,无需额外动作模块或预训练。