Frameboy:Atlas 世界模型的实时交互演示
World Labs 发布 Frameboy 研究预览,允许用户通过浏览器以最高 15 fps 的速率控制相机并实时探索由 Atlas 生成的 3D 场景。该演示基于高度优化的 Atlas 变体,支持从单张输入图像或文本描述生成全新视角,并可集成至 Viewfinder 应用用于构建和流式渲染自定义场景。
推荐理由:World Labs 推出 Frameboy 演示,支持以 Atlas 世界模型实现实时交互与流式帧生成。
World Labs 发布 Frameboy 研究预览,允许用户通过浏览器以最高 15 fps 的速率控制相机并实时探索由 Atlas 生成的 3D 场景。该演示基于高度优化的 Atlas 变体,支持从单张输入图像或文本描述生成全新视角,并可集成至 Viewfinder 应用用于构建和流式渲染自定义场景。
推荐理由:World Labs 推出 Frameboy 演示,支持以 Atlas 世界模型实现实时交互与流式帧生成。
北京物原科技在X上宣布正式推出TensorWorld品牌,并披露已完成约7.05亿元(1.05亿美元)的种子轮融资。投资方包括凯辉基金、红杉中国、蚂蚁集团、美团等机构。该公司成立于2026年7月,致力于研发物理基础模型,旨在让模型掌握物理世界规律并进行推理预测。创始团队拥有清华、MIT等背景,此前在物理仿真、三维理解及Agent规划等领域有深厚积累。
该论文评估了采样广度与交互深度对多轮智能体强化学习性能的影响,发现其优势依赖于充足的回合预算且集中于错误恢复与长程韧性,而非均匀提升单步决策质量。作者提出 BudgetMix RL 方法以缓解预算依赖带来的部署风险,并展示了其在多样化执行设置下的鲁棒性。
推荐理由:原文通过多轮交互预算分析揭示强化学习在长程任务中的优势边界,并提出 BudgetMix RL 以缓解部署风险。
FrontierPhysics 是一个由 42 位物理学家基于自身研究设计的端到端基准,包含 56 个涵盖理论、计算和实验物理的任务。该基准要求智能体完成文献综述、制定计划、开展研究与实验并产出结构化输出及科学手稿。
这篇论文是 Transactions on Machine Learning Research 于 2026 年发表的首篇关于强化学习与图形用户界面智能体交叉领域的全面综述。
针对现有世界模型仅能预测事实性观测的局限,该研究提出 CWMDT 框架,通过构建场景的数字孪生(结构化文本表示)并引入大语言模型推理干预传播路径,使标准视频扩散模型能够生成反事实视觉序列。在两个基准测试中,该方法实现了最先进水平性能,表明数字孪生表示可为基于前向仿真的世界模型提供强有力的控制信号。材料为预印本版本,未报告真实机器人部署结果或具体实验条件细节。
论文提出了 EvoWorld 模型,旨在弥合全景视频生成与演化 3D 记忆之间的差距,以实现空间一致的长视界探索。该方法以单张全景图为输入,先生成未来视频帧,再利用前馈即插即用 Transformer 演化场景的三维重建,最后基于该显式 3D 记忆的几何重投影合成未来内容。
NVIDIA 发布了基于 Cosmos 世界基础模型的交互式世界模拟框架,旨在为物理 AI 训练和评估提供共享基础。该框架通过流式传输视觉观测响应动作与场景控制,支持预测动作的视觉后果及从外部模拟器维持的物理状态生成观测。演示涵盖了相机导航、机器人操作、可控视频迁移和多视角自动驾驶仿真。代码、模型检查点及项目网站已公开。
推荐理由:NVIDIA 推出 Cosmos 框架,支持通过视觉流与动作控制实现实时交互式世界模拟,覆盖相机导航、机器人操作及自动驾驶场景。
针对 JEPA 风格世界模型中静态背景干扰导致规划失败的问题,作者提出运动引导对比正则化方法。该方法利用光流相似度构建软对比目标,结合潜在预测与 SIGReg,鼓励表征保留同一集内的状态区分度并抑制静态内容影响。在 OGBench-Cube 随机化背景下,规划成功率从 52% 提升至 78%,LIBERO-Object 任务从 14% 提升至 54%,并在四个其他视觉控制基准上保持相当性能。
论文 ConDR 针对 DeepReach 方法因对称惩罚导致不安全状态被误判为安全的问题,提出一种学习 HJI VI 下解的方法。该方法通过构造性约束障碍分支与终端条件,利用单边损失将残差推至零以下的安全边际,并防止全部分类为不安全的退化解。
论文指出当前扩散模型缺乏维持世界状态和进行事件后果推理的机制,提出 Out-of-Sight Causal Evolution 新任务。作者构建了 EvoWorld 框架,利用视觉语言模型作为“世界大脑”维护演化账户并推理状态转换,配合分段自回归渲染器实现视觉呈现。
Rui Zhu 等人提出一种基于校准的关系世界模型的方法,用于检测机器人动作满足形状与范围约束但语义错误的静默失配现象(如轴置换、符号反转等)。研究在 LIBERO Spatial 任务的离线数据上验证了该方法:通过固定逆词汇表进行闭集定位,并在保持低误报率的前提下实现了优于单一残差方法的召回率。
推荐理由:该工作提出利用校准后的关系世界模型检测机器人动作与接口语义的静默失配,在 LIBERO 任务上验证了联合评分策略优于单一残差方法。
TouchéWorld 是一个将手势驱动交互整合进相机控制视频世界模型的框架。给定初始图像和场景描述提示词,该模型基于时间对齐的相机和手部控制生成视频。研究团队通过标注补全、一致性过滤和时间对齐构建了异构第一人称视频的联合相机与手部训练数据,并在预训练的相机控制世界模型基础上,结合空间手部骨架条件与数值手部运动特征进行参数高效适配。
推荐理由:该报告提出 TouchéWorld 框架,将手势驱动交互整合进相机控制的视频世界模型中。
针对稀疏海洋观测场景,研究提出一种多机器人闭环自适应采样框架,利用单一学习到的生成式海洋模型完成预报、不确定性估计、规划及数据同化。该方法在潜在空间构建集合预报并解码至物理状态,结合可达性约束选择采样点,实验表明其 A-或 D-最优策略优于静态与随机基线,同时揭示了模型不确定性与预报误差的偏差问题。
推荐理由:提出闭环自适应采样框架,利用生成式海洋模型进行预测与不确定性估计,多机器人策略优于静态基线。
SurgTransfer 提出新型多步动作学习框架,仅从无标签视频中学习上下文不变的动作表示并实现跨手术场景迁移。该方法在 SurgToolLoc-2022 和 PitVis-2023 公开数据集上通过定量指标与外科专家定性评估验证了有效性。代码及实现细节已发布,旨在解决现有方法依赖真值运动学或特定任务标注的局限性。
VAST 推出 V·STAR 顶尖人才计划,邀请年轻研究者聚焦 3D 生成基础模型、三维理解与智能体及世界模型三大方向。团队已开源面向任意视觉参考的实时交互式渲染器 EdenLive,在单张 GPU 上以超 24 FPS 速度生成 720P 画面并支持分钟级连续生成。该计划提供不限薪资期权激励,面向 2027 届及在校生开放北京、上海等地岗位。
针对当前智能体难以完成长周期专业工作流的瓶颈,该研究提出 Agent-R^2 框架,利用真实职业种子、语料库衍生的工作流证据及网络真实文件进行数据合成。
论文指出智能体 harness 演化虽能实现无需更新权重的递归自我改进,但会导致已掌握任务丢失且部署成本上升。研究通过十六个演化实例发现,最高分并不等同于最大平均提升,特定变更优于通用提醒。为此提出的 EvoAudit 框架在 select、analyze、mutate 和 gate 环节实现了最佳性能。
NVIDIA 开发了 AI Factory Operations Agent,旨在通过单一界面让智能体自动关联分析计算、网络及硬件等多维数据以定位训练性能下降原因。该工具直接应用于 NVIDIA DGX SuperPOD 集群的现场可靠性工程场景,替代工程师需查看多个仪表盘的繁琐操作。
NVIDIA CUDA 13.5 正式发布并实现 NVIDIA Vera Rubin 的通用可用(GA),标志着该加速计算平台从早期开发者访问阶段全面转向企业生产就绪状态。此次更新旨在利用人工智能与加速计算的突破,为智能驾驶、具身智能及世界模型等物理 AI 领域解锁前所未有的性能扩展能力。
该研究指出传统推测解码仅关注接受率会引入数值噪声并影响长程推理准确性。作者提出通过训练草稿模型在关键决策点被拒绝,利用目标模型进行低噪声推理,在不改变目标模型分布的前提下提升长程代理任务的成功率。材料为 arXiv 预印本,未提及具体部署或评测基准细节。
NVIDIA NeMo 将生产环境证据转化为优先问题与自定义评估,以优化提示词、工具及 harness 代码。通用基准分数无法解释特定领域的智能体失败(如选错工具或遗漏上下文),该方法通过定制化评估直接定位改进点。
百度正式披露全新世界模型ApolloWorld,利用AI构建持续变化的虚拟交通环境,支持多智能体交互与完整行程级别的实时推演。该系统已应用于萝卜快跑的全球化测试验证,宣称其虚拟路测效率相当于一辆配备安全员的真实测试车连续行驶三年。
推荐理由:百度披露ApolloWorld世界模型,支持实时推演完整Robotaxi行程,宣称虚拟路测效率可达真实测试的三倍。
论文提出了 ToolSpace 框架,旨在解决现有 MCP 环境合成方法数据为中心、导致工具接口不匹配及任务跨度不足的问题。该方法从真实 MCP 服务和开放智能体语料库的执行轨迹中,利用确定性规则挖掘数据、状态和重试依赖,而非依赖大模型判断。
推荐理由:该工作提出以工具为中心的合成框架,通过挖掘真实执行轨迹构建环境图,显著提升了长程任务中多模态模型的评测难度与得分。
论文提出 Route Anything 统一框架,通过构建涵盖语言、视觉、视频、语音及机器人操作的跨模态基准矩阵(含 37.4 万次运行数据),研究了在质量与成本权衡下的最优路由机制。实验显示,基于输入的 oracle 路由比最佳固定候选者提升 5.4 分,学习到的路由器进一步提升性能并减少 24% 的策略时间,平均效率提升 8.82 倍。
推荐理由:构建了跨模态任务路由框架,证明动态策略选择比固定候选者更优且能显著降低计算成本。
该工作引入流等价世界建模框架,利用时间参数化对称性构建潜在记忆以支持长时程动力学预测。该方法使潜在记忆随自运动及推断的外部物体运动进行等变变换,保持视野外区域信息在时间推进中的对齐。研究在 2D 和 3D 部分可观测视频世界建模基准上展示了该框架相对于最先进扩散、增强记忆及循环架构的优势。材料为 arXiv 预印本,已获 ICML 2026 接收。
这篇综述通过结构化叙事综合和可复现的证据映射,定义了医疗世界模型的概念边界与技术基础。研究筛选了 1455 条记录并汇编了 300 个来源,其中 14 项符合严格的实证定义。文章区分了患者状态表征、时间动态建模等四大能力,指出当前证据多处于回顾性或临床前阶段,并提出了从轨迹预测到干预比较所需的精确干预表示与因果机制等具体证据要求。
推荐理由:该综述梳理了医疗领域世界模型的四大能力与临床转化证据要求,区分技术可行性与临床成熟度,为相关团队提供评估框架。
该研究提出 SimuScene,一种将物理引擎纳入形状与布局估计生成过程的组合式 3D 重建管线。不同于仅用于后处理修正,该方法利用物理引擎在生成过程中作为诊断测量工具,通过重力模拟将穿透和支撑失败转化为定量修正信号以驱动模态形状重采样及轻量级几何拉伸修正,从而缓解累积误差并产出稳定的物理就绪场景。
论文提出一种结合学习化可达性与在线安全认证的方法,利用傅里叶神经算子近似变障碍构型下的 HJ 解算子,并通过多重假设检验对 learned reach-avoid set 进行鲁棒场景优化认证。
论文提出 DRAP(Dynamics-Risk Adaptive Plasticity),这是一种无需回放机制的物理 AI 持续学习方法,旨在解决小步策略误差累积导致闭环任务失败的问题。
推荐理由:提出无需回放机制的 DRAP 方法,通过轨迹风险加权梯度累积来动态调节模型张量的可塑性,在 OpenVLA 子网络上实现了 LIBERO 基准任务中旧行为保留与新任务获取的平衡。
computeSOSFunnels 开源包提出最小体积公式,在单轮车、摆杆及 12 状态四旋翼实验中验证了闭环系统对计划的跟踪。该工具在真实动力学下对漏斗边界 39,000 个样本均无违规,且构建半定规划耗时远大于求解时间。论文已提交 IEEE Transactions on Control Systems Technology,代码与文档公开可用。
针对现有候选轨迹评估器依赖高成本且易累积误差的未来状态展开(rollout)机制,本文提出 RFWorld 模型。该方法构建共享场景记忆并通过轻量级时序读出塑造未来可读表示,推理时直接查询记忆进行评分,显著降低计算量并避免递归误差。实验表明,RFWorld 在 NAVSIM 和 Bench2Drive 数据集上实现了更优的规划对齐与世界表征学习,达到最先进性能水平。
arXiv 论文《Hybrid Particle-Voxel Dynamics for Multimodal 3D World Simulation》提出一种名为 3D World Simulator 的框架,通过联合预测外观、几何和触觉观测来解决传统 2D 世界模型在空间一致性和长视界交互上的挑战。
针对高性能计算环境中多变量科学仿真数据存储瓶颈问题,本文提出 SWAP-INR 架构以实现高保真压缩。该方法引入可切换注意力路径(SWAP)模块以显式建模跨变量交互并剪枝冗余层,同时利用自适应放大 SIREN(A2-SIREN)替代刚性频率缩放以适应异构物理特征。
该论文针对现有世界建模方法过度依赖视频生成机制、忽视预测效用的问题,提出 Compression Forcing (CF) 框架。其核心包含动力学感知分词 (DAT),将历史观测按动力学显著性降序压缩;以及基于扩散骨干的分层历史引导 (HG-H),在推理时选择性放大关键信息。实验表明该方法在多环境下的预测保真度、物理真实感及下游决策性能均得到提升,确立了其在世界建模中的灵活性与有效性。
该预印本研究了具身智能体如何在环境变化时利用过往经验而不被旧预期覆盖。研究提出一种基于物理的动态迷宫设置,区分空间变化的重复性与动作后果的连续性。通过跨回合空间变化记忆学习环境与变换关系,状态 - 动作 - 结果经验则优化运动预测。
作者 Aman Upganlawar 分享了其在 UrbanTwin Sim2Real LiDAR Challenge V2X-Real 赛道的最终方案,该方案仅使用合成数据训练并在真实 Ouster OS1-64 雷达上评估。
推荐理由:作者分享了在 UrbanTwin 挑战赛中解决坐标系对齐、分类级 NMS 及零值点建模的三项关键工程修正,为仿真到现实的 LiDAR 检测提供了可复用的诊断思路。
该论文描述了作者团队在 UrbanTwin Sim2Real LiDAR 挑战赛 LUMPI 赛道的最终方案,该方案仅使用合成数据训练并在未见过的真实路边激光雷达上评估。
推荐理由:作者提出针对路边 LiDAR 小目标检测的几何修正与分布对齐方法,并分享了可预测提交分数的实验方法论。
Self-Consistent Neural Control(SCNC)通过显式控制敏感性变化优化轨迹,解决了物理 AI 中隐式平衡系统学习难的问题。相比副梯度学习和无梯度 iCEM 基线,该方法将薄壁管等复杂结构的稳定优化率从 41.7% 提升至 83.3%,平均损失降低超过 1.5 个数量级。该框架已在弹性杆、测量带及弹簧状结构等可变形物体上验证有效性。
PhysFTM 是一种将 Tucker 模式因子参数化于再生核希尔伯特空间(RKHS)并融入偏微分方程约束的模型,旨在解决固定稀疏传感器下的物理动力学重建难题。该方法通过交替最小化重构支持帧连续场,并在 Tucker 核心空间构建轨迹以解码缺失帧,在 Allen-Cahn、Navier-Stokes 等四个基准上验证了高精度重建能力。代码已开源,论文已被 NeurIPS 2026 接收。