Frameboy:Atlas 世界模型的实时交互演示
World Labs 发布 Frameboy 研究预览,允许用户通过浏览器以最高 15 fps 的速率控制相机并实时探索由 Atlas 生成的 3D 场景。该演示基于高度优化的 Atlas 变体,支持从单张输入图像或文本描述生成全新视角,并可集成至 Viewfinder 应用用于构建和流式渲染自定义场景。
推荐理由:World Labs 推出 Frameboy 演示,支持以 Atlas 世界模型实现实时交互与流式帧生成。
World Labs 发布 Frameboy 研究预览,允许用户通过浏览器以最高 15 fps 的速率控制相机并实时探索由 Atlas 生成的 3D 场景。该演示基于高度优化的 Atlas 变体,支持从单张输入图像或文本描述生成全新视角,并可集成至 Viewfinder 应用用于构建和流式渲染自定义场景。
推荐理由:World Labs 推出 Frameboy 演示,支持以 Atlas 世界模型实现实时交互与流式帧生成。
LeRobot 软件栈 v0.7.0 重构了安装、训练推理及硬件底层,移除 cu128 索引并升级 torch 至 PyPI CUDA 13 构建。新版本将环境配置重命名为*EnvConfig 格式,统一策略数据类型为单精度,并新增 FSDP2/HSDP 并行训练框架与 opt-in EMA 权重平滑功能。
驭势科技在CeMAT ASIA 2026展示升级后的L4级无人驾驶牵引车T30,该车型通过升降式自动脱挂钩装置实现自主倒车、拖斗挂接与脱钩,并与无人叉车协同完成装卸转运。
推荐理由:驭势科技发布升级的L4级无人驾驶牵引车T30及协同作业方案,展示了自动脱挂钩、VLM/VLA技术栈与AI编程交付平台。
戴盟近日公开了其从Daimon-Infinity中筛选出的TacClaw-Infinity触觉数据集,包含1万小时采集、100万条轨迹和10亿帧数据。该数据集支持无本体训练(Zero-Robot Transfer),在π0.5等模型上使花瓶擦拭任务成功率由50%提升至74%,且无需专用触觉架构即可利用现有策略。
推荐理由:戴盟公开TacClaw-Infinity触觉数据集及完整研究流程,验证了无本体数据在跨机器人迁移中的有效性。
通用汽车携搭载 Momenta R7 世界模型的凯迪拉克 XT5 PHEV 亮相进博会,该插混 SUV 交付即支持高阶辅助驾驶功能。展台同展的凯威德也采用与 Momenta 联合开发的系统并配备舱内隐藏式激光雷达。凯迪拉克自 2004 年入华累计服务超 210 万用户,正深化“在中国,为中国”的智能电动化战略。
北京物原科技在X上宣布正式推出TensorWorld品牌,并披露已完成约7.05亿元(1.05亿美元)的种子轮融资。投资方包括凯辉基金、红杉中国、蚂蚁集团、美团等机构。该公司成立于2026年7月,致力于研发物理基础模型,旨在让模型掌握物理世界规律并进行推理预测。创始团队拥有清华、MIT等背景,此前在物理仿真、三维理解及Agent规划等领域有深厚积累。
该论文评估了采样广度与交互深度对多轮智能体强化学习性能的影响,发现其优势依赖于充足的回合预算且集中于错误恢复与长程韧性,而非均匀提升单步决策质量。作者提出 BudgetMix RL 方法以缓解预算依赖带来的部署风险,并展示了其在多样化执行设置下的鲁棒性。
推荐理由:原文通过多轮交互预算分析揭示强化学习在长程任务中的优势边界,并提出 BudgetMix RL 以缓解部署风险。
FrontierPhysics 是一个由 42 位物理学家基于自身研究设计的端到端基准,包含 56 个涵盖理论、计算和实验物理的任务。该基准要求智能体完成文献综述、制定计划、开展研究与实验并产出结构化输出及科学手稿。
智元机器人将六台精灵 G2 投入上海徐汇便利店进行 24 小时全栈验证,累计完成 1730 项任务。其中“迎宾员”阿豪、“理货员”火宝等四台成功转正,“补货员”倦王和“保洁员”冷姐因主动性与边界控制不足暂未转正。
同一新闻,精选展示《六台智元 G2 机器人完成上海便利店 24 小时实测》
这篇论文是 Transactions on Machine Learning Research 于 2026 年发表的首篇关于强化学习与图形用户界面智能体交叉领域的全面综述。
论文提出 Marathoner,一种具备超长视界执行能力的自主智能体模型。研究通过利用 GitHub 仓库中超过 1000 行新代码的重大发布 PR 合成挑战性任务级数据,并引入多任务链式技术将多个生成任务串联为单一高难度任务。
针对现有世界模型仅能预测事实性观测的局限,该研究提出 CWMDT 框架,通过构建场景的数字孪生(结构化文本表示)并引入大语言模型推理干预传播路径,使标准视频扩散模型能够生成反事实视觉序列。在两个基准测试中,该方法实现了最先进水平性能,表明数字孪生表示可为基于前向仿真的世界模型提供强有力的控制信号。材料为预印本版本,未报告真实机器人部署结果或具体实验条件细节。
论文提出了 EvoWorld 模型,旨在弥合全景视频生成与演化 3D 记忆之间的差距,以实现空间一致的长视界探索。该方法以单张全景图为输入,先生成未来视频帧,再利用前馈即插即用 Transformer 演化场景的三维重建,最后基于该显式 3D 记忆的几何重投影合成未来内容。
NVIDIA 发布了基于 Cosmos 世界基础模型的交互式世界模拟框架,旨在为物理 AI 训练和评估提供共享基础。该框架通过流式传输视觉观测响应动作与场景控制,支持预测动作的视觉后果及从外部模拟器维持的物理状态生成观测。演示涵盖了相机导航、机器人操作、可控视频迁移和多视角自动驾驶仿真。代码、模型检查点及项目网站已公开。
推荐理由:NVIDIA 推出 Cosmos 框架,支持通过视觉流与动作控制实现实时交互式世界模拟,覆盖相机导航、机器人操作及自动驾驶场景。
该论文提出了 HALO 系统,利用程序化生成的千个虚拟家庭合成视觉 - 语言 - 动作数据以解决人形机器人训练的数据瓶颈。HALO 习得了坐椅子、导航至命名物体、侧身过门等技能,并能编排这些技能完成复合长周期任务。系统在从未见过真实家居的训练下实现零样本迁移,在六个未建图的真实环境中进行了 360 次试验,成功率为 91%。代码与视频已公开。
推荐理由:HALO 系统通过程序化生成合成数据实现零样本迁移,在六个未建图真实环境中达到 91% 成功率。
针对 JEPA 风格世界模型中静态背景干扰导致规划失败的问题,作者提出运动引导对比正则化方法。该方法利用光流相似度构建软对比目标,结合潜在预测与 SIGReg,鼓励表征保留同一集内的状态区分度并抑制静态内容影响。在 OGBench-Cube 随机化背景下,规划成功率从 52% 提升至 78%,LIBERO-Object 任务从 14% 提升至 54%,并在四个其他视觉控制基准上保持相当性能。
该研究提出了 Open-HumanScale-50K 数据集及 Open-HumanWAM 模型,这是首个将以第一人称视角的人类视频预训练规模扩展到 5 万小时的完全开放方案。
推荐理由:原文给出了基于5万小时人类视频预训练的开放配方与实验结果,相关团队可据此复现并验证纯人类数据在机器人策略学习中的缩放规律。
论文 ConDR 针对 DeepReach 方法因对称惩罚导致不安全状态被误判为安全的问题,提出一种学习 HJI VI 下解的方法。该方法通过构造性约束障碍分支与终端条件,利用单边损失将残差推至零以下的安全边际,并防止全部分类为不安全的退化解。
论文指出当前扩散模型缺乏维持世界状态和进行事件后果推理的机制,提出 Out-of-Sight Causal Evolution 新任务。作者构建了 EvoWorld 框架,利用视觉语言模型作为“世界大脑”维护演化账户并推理状态转换,配合分段自回归渲染器实现视觉呈现。
这篇论文是 2024 年 1 月至 2026 年 11 月初关于灵巧机器人手的结构化叙事综述,涵盖硬件、数据采集与策展、跨本体迁移、基础模型学习及评估五个层面。作者指出人类数据价值取决于运动学、视觉和接触对齐而非单纯记录量;共享动作表示无法消除本体特有的力、延迟和接触约束;仅凭任务完成度不足以确立物理正确性或部署就绪性。材料还识别了十一项开放问题,并提出了可测量的全栈进展报告接口与受控比较方法。
Rui Zhu 等人提出一种基于校准的关系世界模型的方法,用于检测机器人动作满足形状与范围约束但语义错误的静默失配现象(如轴置换、符号反转等)。研究在 LIBERO Spatial 任务的离线数据上验证了该方法:通过固定逆词汇表进行闭集定位,并在保持低误报率的前提下实现了优于单一残差方法的召回率。
推荐理由:该工作提出利用校准后的关系世界模型检测机器人动作与接口语义的静默失配,在 LIBERO 任务上验证了联合评分策略优于单一残差方法。
该论文提出一种名为 DSSD 的新方法,旨在改进用于时空预测的扩散模型。作者指出传统方法将未来帧与独立噪声混合,导致时间依赖性完全由去噪器承担。DSSD 通过构建基于稳定对角状态空间模型的阻尼振荡模式的时间核,使去噪过程能捕捉多时间尺度和振荡相关性。
该论文提出 Typed Spatial Markdown(TSM)作为桌面网页界面的文本状态表示,能够联合编码 UI 布局、语义及显式位置。作者构建了 AtomBlock-WebUI 数据集以训练截图到 TSM 的渲染器,并在此基础上开发了 MKD2World 世界模型。
论文提出 Traffic-VL,这是一个拥有八亿参数的视觉语言模型,旨在直接利用同步的多视角图像和自然语言相位描述做出交通信号决策,无需中间结构化状态。该方法基于 SynTra-V 生成的逼真多视图仿真数据进行离线强化学习微调,并在闭环仿真中冻结视觉编码器进行在线策略优化。
ReactWorld 是一种受思维链推理启发的具身视频生成模型,旨在解决机器人动作引发的场景变化中物体响应与任务意图及接触动力学不一致的问题。该模型在特征空间引入交互响应场预测器以明确参与者角色、未来运动响应强度及局部运动变化,并通过响应反馈适配器将预测位移转化为时间注意力位置偏差,从而引导跨帧的信息检索与物体特征更新。
针对服务机器人基于自由指令(含视觉特征与场景文本)检索并搬运日常物体的任务,研究提出 STARE 模型。该方法利用跨语言视觉提示增强对嵌入环境的场景文本解释能力,并建模指令中命名实体与对应物体间的复杂关系。
TouchéWorld 是一个将手势驱动交互整合进相机控制视频世界模型的框架。给定初始图像和场景描述提示词,该模型基于时间对齐的相机和手部控制生成视频。研究团队通过标注补全、一致性过滤和时间对齐构建了异构第一人称视频的联合相机与手部训练数据,并在预训练的相机控制世界模型基础上,结合空间手部骨架条件与数值手部运动特征进行参数高效适配。
推荐理由:该报告提出 TouchéWorld 框架,将手势驱动交互整合进相机控制的视频世界模型中。
该论文针对成像逆问题中的流匹配生成后验采样提出 FLINT 框架。现有方法将轨迹空间优化与源空间初始化视为独立设计,而本文证明二者存在内在耦合并推导了统一稳定性界限。FLINT 通过两步法实现:首先利用流形约束的邻近目标函数在少量迭代内建立高保真起点,随后在受限随机性调度下执行引导采样以防止优势被噪声侵蚀。实验显示该方法在多种逆问题中实现了感知质量的最优和计算效率的优越性。
推荐理由:FLINT 提出将初始化邻近性与采样随机性耦合的新框架,在保持高保真起点的同时通过受限噪声注入提升逆问题求解效率。
针对平层联合嵌入预测架构(JEPAs)在长视界规划中时序区分度不足的问题,本文提出一种轻量级时间到目标(Time-to-Goal, T2G)指标。该方法利用离线轨迹中的潜在三元组进行训练,通过边距排序损失显式学习时序顺序,无需奖励或策略标签即可替代欧氏距离作为规划成本。
推荐理由:该工作提出轻量级时间到目标指标,解决平层世界模型在长时规划中时序区分度不足的问题。
针对稀疏海洋观测场景,研究提出一种多机器人闭环自适应采样框架,利用单一学习到的生成式海洋模型完成预报、不确定性估计、规划及数据同化。该方法在潜在空间构建集合预报并解码至物理状态,结合可达性约束选择采样点,实验表明其 A-或 D-最优策略优于静态与随机基线,同时揭示了模型不确定性与预报误差的偏差问题。
推荐理由:提出闭环自适应采样框架,利用生成式海洋模型进行预测与不确定性估计,多机器人策略优于静态基线。
OdorSpaces 是一个基于物理的仿真平台与基准,旨在探索被忽视的具身 AI 中的嗅觉感知领域。该平台在 Habitat-Sim 中集成了由 Fire Dynamics Simulator (FDS) 驱动的三维气味传输与扩散模拟,使智能体能够利用视觉和嗅觉观测在逼真的室内环境中导航。
arXiv 论文 Jev-AD 结合类型化决策模型 Jev 与语言世界模型,后者预测候选动作下周边车辆未来两秒的运动以提供预见性后果。在仿真高速合流(500 车集)中,碰撞率从 26.0%降至 2.4%,自由指令意图达成率达 93%;在回放真实 NGSIM 轨迹(500 集)中,碰撞率从 48.2%降至 2.8%,世界模型能预见 93%的危险动作。
推荐理由:该工作提出语言世界模型辅助决策,在仿真与真实轨迹回放中显著降低碰撞率并提升意图达成率。
SurgTransfer 提出新型多步动作学习框架,仅从无标签视频中学习上下文不变的动作表示并实现跨手术场景迁移。该方法在 SurgToolLoc-2022 和 PitVis-2023 公开数据集上通过定量指标与外科专家定性评估验证了有效性。代码及实现细节已发布,旨在解决现有方法依赖真值运动学或特定任务标注的局限性。
VAST 推出 V·STAR 顶尖人才计划,邀请年轻研究者聚焦 3D 生成基础模型、三维理解与智能体及世界模型三大方向。团队已开源面向任意视觉参考的实时交互式渲染器 EdenLive,在单张 GPU 上以超 24 FPS 速度生成 720P 画面并支持分钟级连续生成。该计划提供不限薪资期权激励,面向 2027 届及在校生开放北京、上海等地岗位。
针对当前智能体难以完成长周期专业工作流的瓶颈,该研究提出 Agent-R^2 框架,利用真实职业种子、语料库衍生的工作流证据及网络真实文件进行数据合成。
The Robot Report 发布《2026 机器人初创企业雷达》,收录 60 家成立于五年内且聚焦软件、仿真及下一代 AI 模型的全球初创公司,涵盖制造、农业与医疗等多行业应用。报告提供各企业的技术应用、员工规模及累计融资数据,旨在帮助投资者识别具备技术基础与行业合作伙伴关系的创新主体。该榜单由 maxon 和 PTC 赞助,相关奖项提名已于波士顿机器人峰会前开放。
该研究指出传统推测解码仅关注接受率会引入数值噪声并影响长程推理准确性。作者提出通过训练草稿模型在关键决策点被拒绝,利用目标模型进行低噪声推理,在不改变目标模型分布的前提下提升长程代理任务的成功率。材料为 arXiv 预印本,未提及具体部署或评测基准细节。
百度正式披露全新世界模型ApolloWorld,利用AI构建持续变化的虚拟交通环境,支持多智能体交互与完整行程级别的实时推演。该系统已应用于萝卜快跑的全球化测试验证,宣称其虚拟路测效率相当于一辆配备安全员的真实测试车连续行驶三年。
推荐理由:百度披露ApolloWorld世界模型,支持实时推演完整Robotaxi行程,宣称虚拟路测效率可达真实测试的三倍。
LiberAI 发布了预训练于超过 220 万小时人类经验的 Liber-0 世界动作模型(WAM),旨在支持无需针对特定任务收集机器人演示的零样本机器人操作。
车东西报道指出,全球Robotaxi竞争进入新分水岭,Waymo融资后发布基于DeepMind Genie 3的世界模型,百度则披露面向物理AI的ApolloWorld。文章分析世界模型通过生成虚拟路测(如一天顶三年)解决实车测试效率瓶颈,并对比了两者在技术路径上的差异:Waymo侧重复杂场景生成与多传感器仿真,而百度更强调因果性、交互性及完整出行任务的验证,旨在支撑L4系统的训练与商业化落地。