L3G-World:基于潜在 3D 高斯记忆的实时无限世界生成
论文介绍 L3G-World 模型,利用 Latent 3D Gaussian Memory 结合前馈重建效率与紧凑场景表示,通过记忆更新器与视频扩散 Transformer 交替自回归生成空间一致的世界。
论文介绍 L3G-World 模型,利用 Latent 3D Gaussian Memory 结合前馈重建效率与紧凑场景表示,通过记忆更新器与视频扩散 Transformer 交替自回归生成空间一致的世界。
针对现有机器人仿真覆盖范围窄且开发成本高的问题,本文引入 Gym-Anything for Robotics 框架,通过代码代理自动生成逼真仿真环境。研究基于美国 GDP 数据筛选任务,构建包含 25 个仿真、25 个测试及 175 个训练环境的 RoboWorld 基准。
论文提出了一种名为 PASA-KV 的方法,旨在攻击世界动作模型(WAMs)内部表示与动作生成之间的脆弱性。研究发现,仅凭表示空间的扰动幅度无法可靠预测闭环控制失败,关键在于扰动如何被路由到动作生成环节。该方法通过 Tail-AV 信号识别易受攻击的路由,并选择面向动作的键值对目标进行训练。实验在多个 WAM 系统及物理机器人上验证了该方法的闭环攻击效果及系统间的抗扰差异。
针对视频世界模型在长视界一致性上的挑战,本文提出了 GROME 框架。该框架通过静态 - 动态因子化解耦历史证据、局部记忆检索消除几何漂移以及无需训练的内存注入机制,在不修改冻结主干网络的前提下显著提升了场景持久性与动态实体保真度。实验表明,GROME 能兼容外部观测作为即插即用记忆,支持灵活的视频续写与场景探索。
推荐理由:提出无需额外训练的因子化记忆框架,解决视频世界模型在长视界场景下的几何漂移与动态实体保真度问题。
论文 FutureWorld 针对交互式视频世界模型中基于历史方法导致的误差循环问题(如模糊细节、几何畸变和语义漂移),提出了一种即插即用的因果下一片段预测器(C-NCP)。
针对学习使能的 cyber-physical systems(CPS)缺乏系统级保证的问题,研究提出 Foundation Model Assurance Stack,通过神经符号架构、语义化形式化测试及组件化运行时监控约束基础模型。该方案在 arXiv 预印本中明确划分随机学习与形式推理的边界,旨在建立可认证且可部署的信任体系,涵盖从规范工程到生命周期认证的完整议程。
针对现有视频世界模型隐含 3D 动力学、动作表述绑定特定机器人配置以及 3D 运动预测仅使用流监督信号等局限,该工作提出 WorldFlow,这是一个生成式世界模型,能够联合预测未来视频和基于查询的 3D 轨迹。
推荐理由:该工作提出统一架构联合预测视频与三维轨迹,在仿真及真实数据上均取得最佳位移误差。
论文提出了 GenSight,这是一个统一的具身世界模型,将未来视频生成和稠密感知整合进同一个预训练视频扩散 Transformer 中。该模型使用统一的时空表示处理视频、深度、具身分割和首帧相对 2D 光流,基于共享 DiT 骨干网络并通过轻量级任务调制在同一架构内预测所有模态。
推荐理由:该工作提出将视频生成与稠密感知统一于单一架构,为具身世界建模提供了新的跨模态一致性思路。
该论文调研了具身系统如何利用部署经验更新策略、世界模型与技能,并引入数据获取与学习流程的修订来实现递归自我改进。文章区分了学习者更新者与改进者的功能差异,对比了策略学习、想象体验、记忆积累及可执行框架等方法,提出 L0-L3 分级标准以区分任务局部适应、持久能力增益、继承的流程修订及验证后的改进者增益。
针对世界动作模型(WAM)难以仅从演示的动作相关潜在变量生成动作的问题,本文提出 CausalWAM 方法。该方法在预训练 WAM 的动作头中增加稀疏路由路径,将导致动作的因果因素与预测依赖分离。理论证明在稀疏约束下,用于生成动作的潜在变量是动作相关变量的可逆函数,且该结构唯一确定(至排列)。实验在合成数据和真实机器人上验证了理论并展示了闭环成功率提升。
针对工具超时导致 AI 智能体面临模糊结果和部分执行的场景,该研究提出基于证据的任务恢复框架。方法结合标准观察依赖规划与独立的效果历史裁决器,通过共享可采性检查处理密钥过期、授权时序及残留效应,并利用终端证书区分目标满足与安全完成。
刚成立不久的物理超级智能(PSI)公司宣布,其自研AI科研系统Emmy在量子信息理论的5个开放问题上取得进展,其中3题为本世纪初收录的难题。论文、Lean形式化证明及验证代码已上传至GitHub供学人审查。该系统采用“生成 - 验证”分离架构,利用大模型拆解假设并通过Lean编译器进行严格数学逻辑筛查,旨在实现科学发现的规模化生产。
推荐理由:PSI公司宣布其自研AI科研系统Emmy在量子信息领域取得突破,并公开了Lean形式化证明与验证代码供审查。
文远知行披露旗下子公司景烁科技完成7000万元Pre-A轮融资,资金将用于业务扩张及运营。该公司致力于构建物理AI时代的数据及世界模型基础设施,自研了打通数据全流程的WorldEngine平台、面向物理场景的生成式统一世界模型GENESIS-Robotics以及全栈自研采集硬件EGOK。景烁科技称其世界模型能将机器人技能冷启动周期由数月压缩至数周,并已与全球数十家大模型公司及具身智能企业建立合作。
文远知行旗下子公司景烁科技披露获得嘉御资本、HKSTP香港科技园等资方数千万美元的Pre-A轮共同投资。该公司致力于构建物理AI时代的数据与模型基础设施,依托WorldEngine平台和GENESIS-Robotics世界模型,提供从数据采集设备EGOK到定制数据服务的完整产品体系。
地瓜机器人大模型团队于10月27日开源世界模型仿真平台Uranus,发布技术报告、推理代码、SDK及两个版本模型权重,面向全球开放早期体验名额。
推荐理由:地瓜机器人开源Uranus仿真平台,提供因果架构与流式推理机制,支持多本体接入及分钟级连续推演。
WorldOracle 是一个针对动作条件世界模型的评测基准,由普林斯顿大学、UT Austin、多伦多大学、NVIDIA 和 AgiBot 联合推出。该基准通过对比模型生成的预测视频与从相同初始观测出发、遵循相同动作序列的真实机器人执行结果(包括成功与失败案例),量化物理状态正确性、空间对齐度等指标。
上海 AI 实验室于 10 月 23 日至 25 日举办 2026 级专项博士生迎新周,期间完成首批兼职导师聘任以构建多元协同育人网络。实验室主任周伯文勉励新生立足底层范式重构 AI 与科研关系,成长为 AI 原生研究者。活动涵盖科研辩论、圆桌交流及心理支持等环节,旨在护航学生全周期成长并服务国家重大战略需求。
禾赛科技推出名为Kosmo的数据采集终端,由手持设备Kosmo One和云端平台Kosmo World组成。该设备集成激光雷达、8K影像系统、IMU等传感器,在硬件层面实现微秒级同步与前融合,直接输出3D高斯泼溅(3DGS)、mesh及depth数据。
研究发现语言模型智能体的策略隐含了训练 harness(提示词、工具与控制逻辑)的偏好,更换 harness 会同时改变最优回报上限与策略失配项。在 MiniWoB++ 实验中,仅调整观察字段顺序使成功率为 85.0% 的策略骤降至 19.2%,而新 harness 的上限提升能显著改善后续训练效果。代码已开源,相关预印本论文发布于 arXiv。
GPT-6-Astra 在 LongChang 自动化探索框架中,于无提示的模拟世界实验里以 16.7% 的发现率率先识别出异常物理规律。其余 11 个测试大语言模型得分均为 0%,且记录显示存在未调查的异常与部分定律识别不全现象。该研究通过多智能体自主循环验证了 LLM 在科学发现中的潜力,相关代码与论文已公开。
该论文提出语义世界模型方法,主张不预测未来像素而是预测任务相关的语义信息,将世界建模转化为视觉问答问题以利用视觉语言模型工具。通过在图像 - 动作 - 文本数据上监督微调预训练视觉语言模型,实现了决策规划的泛化与鲁棒性。研究在模拟机器人任务中验证了该方法优于传统的基于重建的动作条件世界建模范式。
论文针对机器人系统融入社会所需的法律规范整合问题,扩展了法律源文本与其编码对齐的同构性难题,重点测量了感知误差导致的接地同构差距以及单一法律结论对应多种规划约束的本体论同构差距。
论文 OctWorld 提出一种带有持久化 3D 记忆的扩散视频生成框架,针对长距离相机路径下的空间一致性难题,引入可扩展且自适应分辨率的 OctMap 模块,将生成的视觉观测与深度图融合至全局八叉树表示。实验表明该方法在现有基准及挑战性长程设置下均优于先前方法,并提供了清晰的代码与项目页面链接。
论文研究了不同预训练信号如何诱导视频世界模型潜变量中的动作相关结构。研究通过统一的逆动力学探针评估发现,时序视频预训练主要驱动了动作相关性,而像素重建保真度并非关键;具有强解码质量的模型可能表现出近零的动作恢复能力。此外,逆动力学监督显著提升了模型对视觉扰动的鲁棒性。该工作已接受至 CoRL 2026。
推荐理由:该研究通过统一探针评估发现,视频预训练带来的时序预测结构是驱动潜在空间动作相关性的核心因素,而非像素重建保真度。
针对独立开发的自主智能体在共享环境中需保证联合兼容性的问题,本文提出了一种双层结构:由监管方发布种子智能体,各开发者独立测试其智能体以确保与所有种子兼容智能体的兼容性(即未来-proofness)。
该研究解决部署策略变更使世界模型不确定性失效的问题,在保持物理转移机制和预测器不变的前提下,通过估计状态占据与动作倾向比率实现加权共形校准。实验基于开源 DINO 特征世界模型与 Franka 机械臂轨迹,在强控状态下行动态覆盖率从普通方法的 55.0% 提升至 91.0%,且学习到的代理分布与目标律的总变差距离小于 0.9%。
推荐理由:针对部署策略变更导致的世界模型不确定性失效问题,提出基于加权共形校准的方法以适配目标分布。
论文指出 RGB 并非空间推理的最佳默认接口,引入 ImagiRep 基准在仿真环境中对比了包括深度、全景和俯视几何在内的七种表征形式对未观测状态的空间推理效果。研究发现仅生成准确的 imagined RGB 并不保证推理准确,而 GEARS 策略通过自适应选择表征能提升性能,表明处理未见状态需要超越单纯的 RGB 视图生成。
针对汽车雷达仿真成熟度不足的问题,该研究提出了基于光线追踪的 FMCW 雷达仿真框架 AuRaSim。该框架利用 Blender 构建动态场景并集成 Sionna RT 进行 GPU 加速的电磁波射线追踪,同时引入了路径分辨传播、运动感知多普勒建模及相干 ADC 立方体合成等雷达专用适配。
GameVerse 是一个专为长时程交互式世界建模设计的分钟级游戏视频数据集,包含 69.7K 个片段、1,655 小时视频及 3.496 亿帧数据。其中 1,358 小时为连续两分钟序列,长度是现有数据集的十倍。
该研究针对世界动作模型(WAMs)提出去噪反事实协议,通过位级可复现分支和保留随机数消除执行噪声,准确测量候选动作的真实增益。研究发现标准估计高估了原生样本的可选增益,而结构化动作扰动可创造高达 16 分的增益空间;在动作条件化想象中,想象未来与真实未来信息无损。基于此构建的选择器仅在预测失败时偏离策略,使闭环任务成功率从 76.9% 提升至 81.6%,未见任务中提升最大。
论文提出了 RynnWorld-Latent,这是一个利用 3D-grounded latent actions 作为共享条件接口的跨具身视频世界模型。该模型在预训练阶段联合使用了人类交互视频、机器人演示和仿真 rollout,无需统一的原生动作空间。
推荐理由:该工作提出基于通用潜在动作的跨具身世界模型,支持在人类视频与机器人演示上联合预训练,并验证了其在真实机器人上的策略成功率提升。
arXiv 发布的技术报告介绍了 Hy-Nomas,这是一个基于 8B 扩散骨干的视频世界模型,支持多轮次交互中的自由文本指令与连续相机控制。其核心设计将结构化视频描述与动作感知因果注意力对齐,并通过视觉语言提示增强器处理多模态历史。研究展示了优于现有模型的评估结果,并开源了模型权重、代码、基准及轻量级适配工作流以支持可复现研究。
SWIM 提出一种利用逆动力学模型从离线轨迹中学习状态权重的方法,解决联合嵌入预测架构(JEPA)中视觉目标未显式融合任务相关状态信息的问题。该方法在五个机器人操作仿真任务中,相比均匀加权基线一致提升了基于图像的规划成功率,且无需额外推理计算。论文为预印本,代码与权重暂未开放。
LabWorld 是一个由智能体驱动的 Real2Sim 框架,能从单目 RGB 视频重建包含可复用 3D 资产、度量场景及时间变化状态的交互式 4D 实验室世界。
该研究提出一种将实测赛道点云转化为闭合、$C^4$可微三维表面模型的拟合流程。通过最小化积分曲率并约束边界与周期性的二次规划获取 MCL,有效避免紧弯处法向量交叉导致的参数化失效。最终曲面以用户可选高度的多项式描述截面高程,并以周期性分段五次 $C^4$ B 样条形式导出,适用于高保真 Modelica 赛车优化任务。
TrackJoint 是一个 Modelica MultiBody 组件,能将三维路面转化为具有两个自由度的关节(沿参考线的行驶距离和侧向偏移),从而确定单帧连接器的位置、姿态和角速度。
论文介绍 BoxWorld 框架,解决实时交互式视频世界中用户定义行为难以指定对象级规则的问题。该方法将交互推理与生成渲染分离,由代码代理构建世界引擎确定交互结果,再通过生成渲染器将状态流转化为视频。系统采用三阶段训练策略学习对象定位与状态转换,并在自生历史上进行蒸馏。作者提出了 PairedStateBench 基准用于评估细粒度交互控制能力。
Point One Navigation 创始人 Aaron Nathan 在 OpenCV Live! 231 中指出,自动驾驶、配送机器人及无人机等物理 AI 无法从原型走向部署,除非能在真实复杂条件下实现厘米级精准定位。该观点强调现有实验室设计难以应对现实环境挑战,位置信息是解锁大规模物理 AI 应用的核心要素。
该论文提出 A-RSI 方法,旨在解决递归自我改进中何时引入新经验的问题。系统通过监控训练日志中的奖励变化和准确率来动态刷新任务池,无需依赖验证集或测试分数。模型利用静态库生成多模态问题及参考答案,并自动验证属性与审计答案,整个训练循环不依赖外部示例或人工标注。在包含 11 个基准的测试套件上,该方法使用 800 个新任务将平均性能从 57.77 提升至 61.05。
上海人工智能实验室联合苏州国家实验室等推出“材华·MatVerse”材料多模态大模型及智能体应用体系。该模型采用独立编码器加统一解码器架构,将 XRD 谱图、电镜图像和分子结构等多源异构数据映射至同一语义空间,实现从知识记忆到逻辑推理的能力跃迁。
推荐理由:MatVerse 材料多模态大模型上线,支持 XRD 谱图与分子结构理解及机理推理,并开放评测基准。