SpikWM:一种高效的端到端脉冲视觉规划世界模型
针对基于图像观测和目标的条件化规划任务,本文提出了 Spiking Latent World Model(SpikWM),这是一种端到端的联合嵌入预测架构。该方法通过脉冲区域编码保留空间线索,结合双极性动作编码与因果膜电位预测机制,在奖励自由的图像 - 动作轨迹上进行联合训练。
针对基于图像观测和目标的条件化规划任务,本文提出了 Spiking Latent World Model(SpikWM),这是一种端到端的联合嵌入预测架构。该方法通过脉冲区域编码保留空间线索,结合双极性动作编码与因果膜电位预测机制,在奖励自由的图像 - 动作轨迹上进行联合训练。
针对现有视频世界模型在视角变化时冻结场景或丢失物体的问题,本文提出 PanoEvo 架构,利用全景扩散模型的潜在空间进行全局状态演化,并通过透视渲染器生成高质量视图。
推荐理由:提出 PanoEvo 架构解决全景视频世界模型的视角演化问题,在 WRBench 和 STEVO-Bench 上取得最佳分数。
Genesis World v1.4.7 更新优化非刚性求解器与耦合器,显著减少内存占用并提升多物理场仿真可靠性。所有求解器在 `gs.init(use_deterministic_algorithms=True)` 模式下实现完全确定性,代价约为 15% 的速度下降。
Drake v1.59.0 默认启用 MultibodyPlant 的闭环运动学自动建模,用户可通过配置选项或 API 关闭该功能。新版本正式支持 macOS 27 Golden Gate,并将 x86-64 最低微架构目标提升至 x86-64-v2。此外,pip 安装需显式选择 [mosek] 额外依赖才能使用 MosekSolver,同时修复了多项内存泄漏与解析问题。
光轮智能发布RoboFinals RL Envs强化学习仿真环境,依托自研SimFoundry底座实现刚体、柔体与关节体的协同交互,支持时长超8分钟的长程任务如汽车修理。产品包含资产重建、物理建模与任务定义的生成链路,提供RL Ready标准以承载策略试错与迭代,并配套独立评测基准。
上海AI实验室发布并开源书生科学多模态大模型S2.1 Flash(简称书生-S2.1 Flash),依托统一表征架构支持分子、光谱等多类科学数据输入,融合视觉感知操控科研软件能力。模型在递归式自我改进模式下持续迭代优化,已在CT切片恢复、遥感水域变化量化、航空发动机装配建模检查及脑电伪迹剔除四项任务中验证闭环执行能力,推理成本显著降低且交付可复核的工程文件。
推荐理由:上海AI实验室发布书生-S2.1 Flash,融合科学多模态理解与通用智能体能力,支持在专业软件中执行复杂科研任务并交付可复核的工程文件。
针对机器人交互中动力学突然且持久变化的适应难题,论文提出了 AFTER-WM 世界模型。该模型受人类大脑预测编码启发,利用预测误差驱动快速修正(衰减)与慢速修正(持久),并动态调整预训练专家的组合权重而不改变其本身,以平衡响应性、稳定性与持续性。
推荐理由:提出 AFTER-WM,利用快慢时间尺度自适应机制解决动力学突变下的预测误差累积问题。
Google DeepMind 发布 SatWeave 和 PARDIG 两个基础数据集,前者整合五颗静止卫星图像提供全球每小时更新的云雨视图,后者基于 AI 生成高精度降水图。这两个数据集是 WeatherNext 3 模型的关键支撑,现已在 Google Cloud Storage 公开开放历史档案与实时流数据,供研究人员用于气象、洪水及干旱预测等下游应用。
论文介绍 InfraRSI,这是一个将开放指令转化为验证过的训练优化的代理框架。它通过五阶段工作流初始化锁定可编辑范围、校准集群噪声并协同优化启动参数与代码补丁。
RedPhys 是一个针对物理世界模型(PhyModels)和智能体(PhyAgents)的可扩展红队测试平台,旨在发现具有物理基础的函数故障。该平台集成了12种红队方法、3种模型无关防御机制以及13个涵盖七个物理领域的模型,在黑色盒威胁模型下进行评估。
论文提出了 MineXplore,这是一个基于 MuJoCo 的开源导航基准,数据源自智利铜矿实地测绘。环境重构了 104,423 平方米的隧道网络,包含八边形截面、LiDAR 来源的锯齿状几何、三种地形摩擦区及周期性照明。
推荐理由:该基准提供基于真实矿场几何的地下导航环境,支持 GPU 加速学习流程,并验证了策略在 GNSS 拒止条件下的稳定性。
RSLCPP 通过新方法利用 ROS 2 节点创建确定性仿真,无需修改源代码即可在各类 CPU 和架构上获得一致结果。该方法解决了异步多进程设计导致的不可复现问题,适用于科学基准测试与持续集成场景。项目已开源,支持合成基准及真实机器人系统验证。
针对现有评估仅关注最终结果而忽略证据归因、信念更新及矛盾处理的问题,本文提出 CREG 基准以衡量多机器人系统的共享推理轨迹。该基准包含 350 个确定性生成的场景,覆盖七种规范后验参考情境,并引入独立对数几率检查器与盲审机制。
针对传统刚体仿真在处理复杂表面和精细网格碰撞时效率低下的瓶颈,本文提出了一种从头设计的仿真框架 Lodos。该框架引入了新的宽相位与窄相位碰撞检测例程及后续接触动力学计算,在保持物理保真度与现有主流模拟器相当的同时,将详细网格碰撞场景的吞吐量提升了约一个数量级。源代码已开源。
推荐理由:提出专为接触丰富场景设计的轻量级仿真框架,在保持物理保真度的同时将详细网格碰撞吞吐量提升约一个数量级。
MuJoCo v1.4.6 更新抛光了有限元(FEM)、物质点法(MPM)及粒子动力学(PBD)等非刚性求解器,使可微仿真原生兼容 PyTorch 且速度提升约 3 倍。该版本在 GPU 小批量场景下将刚体与隐式 FEM 求解器提速数倍,内存减半并支持更多物理设置器。修复了包括接触力丢失、NaN 发散及 fp64 精度在内的多项关键 Bug,同时移除了不稳定的稳定流体求解器。
该研究调查了在策略蒸馏中,因量化和异步生成导致的训练 - 推理失配对模型质量的影响。实验表明 OPD 对一定程度的失配具有鲁棒性,但超过阈值会退化;部分层对低精度更敏感。作者提出了轻量准入检查以筛选配置,并给出了 FP8 配方,在保持质量的同时显著提升了 KV-cache 容量和训练速度。代码已开源。
NVIDIA 推出 Reshard Collective,解决强化学习后训练中推理与训练并行时的 GPU 资源解耦难题。该技术允许在独立 GPU 上运行策略模型推理并实时生成轨迹,同时仅对训练 GPU 更新权重且定期刷新全量参数。此方案显著提升了物理 AI 模型训练的并行效率与资源利用率。
Cosmos Policy 和 RoboCasa 审计显示,在干净数据上学到的价值选择器比随机差 1.66 个百分点,82% 的状态候选结果相同。Token 剪枝虽降低 FLOPs 但端到端加速仅达 1.15 倍,未达 1.5 倍目标且自适应分配实验无结论。研究还发现并修复了计算密集型规划路径下渲染腐蚀率上升的问题,发布了检测器与修复脚本。
PlayGen2 是一个实时交互式世界模型,它将学习的三维状态演化与神经渲染分离开来。该模型维护包含静态几何和实体身份的持久化世界记忆,在固定局部区域内联合学习动作条件化的实体动力学、几何补全和实体发现,并通过独立的神经渲染器合成第一人称观察视角。
推荐理由:PlayGen2 将三维状态演化与神经渲染分离,在 Doom 测试集上实现实时交互与零样本泛化。
配置和优化针对 NVIDIA Vera Rubin 等新 GPU 硬件的 Kubernetes 环境复杂且易出错,需确保驱动、内核及调度器等组件协同调优。NVIDIA AI Cluster Runtime(AICR)作为 NVIDIA DSX AI Factory 的一部分,旨在解决此类匹配问题以保障工作负载运行与性能。
Axion 1.0 是一个完全开放的智能体基础模型,采用仅含两个轻量监督微调加强化学习的三阶段极简训练配方,无需中间训练、直接偏好优化或在线蒸馏。该模型通过基于自身成功策略合成难题来发展自包含推理能力,并通过可扩展管道构建基于真实数据源的多样化可验证任务以扩展工具依赖推理,最后利用强化学习增强长程推理及与外部工具和环境的交互。
socx 是一款利用 JAX 实现的 GPU 加速求解器,专为处理带机会约束的提升凸线性随机最优控制问题。在悬停线性的三维四旋翼测试中,其速度较 MOSEK 提升最高达 98 倍、较 SCS 提升 2224 倍,且能解决长达 N=1120 的时间步长任务而 MOSEK 会在 N=320 时耗尽内存。该工具通过分布式优化将问题分解为独立的线性二次型跟踪与欧几里得投影子问题并行求解。
地瓜机器人大模型团队于10月27日开源世界模型仿真平台Uranus,发布技术报告、推理代码、SDK及两个版本模型权重,面向全球开放早期体验名额。
推荐理由:地瓜机器人开源Uranus仿真平台,提供因果架构与流式推理机制,支持多本体接入及分钟级连续推演。
研究发现语言模型智能体的策略隐含了训练 harness(提示词、工具与控制逻辑)的偏好,更换 harness 会同时改变最优回报上限与策略失配项。在 MiniWoB++ 实验中,仅调整观察字段顺序使成功率为 85.0% 的策略骤降至 19.2%,而新 harness 的上限提升能显著改善后续训练效果。代码已开源,相关预印本论文发布于 arXiv。
arXiv 发布的技术报告介绍了 Hy-Nomas,这是一个基于 8B 扩散骨干的视频世界模型,支持多轮次交互中的自由文本指令与连续相机控制。其核心设计将结构化视频描述与动作感知因果注意力对齐,并通过视觉语言提示增强器处理多模态历史。研究展示了优于现有模型的评估结果,并开源了模型权重、代码、基准及轻量级适配工作流以支持可复现研究。
Crazyflow 是一款旨在推动空中机器人算法开发的统一仿真平台,结合高保真动力学与 JAX 框架实现高速与可微分性,支持百万级环境并行及数千架无人机集群。实验表明其支持无需域随机化的分析梯度策略学习与采样避障,并实现了飞行中强化学习:将物理无人机抛起后仅用 0.37 秒即可训练出恢复策略并将其接住。该工具作为开源资源,为合成数据生成及在线优化提供了新能力。
推荐理由:Crazyflow 提供 GPU 加速的可微分无人机仿真器,支持百万级环境并行与飞行中强化学习,为空中机器人算法开发提供新资源。
SPECOLA 是一款用于在仿真环境中评估机器人行为是否符合信号时序逻辑规范的开源工具。它提供 Python API 和命令行接口,允许用户定义规格并创建相应监控器,同时集成了 LIBERO、RoboCasa、Isaac Lab 等九个仿真环境的适配器。该工具旨在弥补单纯依赖成功率指标的不足,能够量化任务完成裕度、对目标参数的敏感度以及潜在的规范违反情况。代码与适配器已公开。
Google DeepMind 发布 MuJoCo 3.17.0,核心更新包括新增 mjbatch 批量模拟接口以支持多线程并行计算,改进 Flex 模块的弯曲弹性与自碰撞检测,优化纹理内存占用并修复渲染器 Bug。该版本同时引入 Bazel 构建支持及多项 API 变更,旨在提升物理仿真效率与稳定性。
NVIDIA 在柏林 GTC 展示将多台 DGX Spark 节点互联,以支持需数百 GB 显存的前沿架构及多模型并行编排。此举旨在把开发环境从数据中心延伸至桌面,让开发者能直接链接更多 Spark 节点进行复杂实验。
针对现有方法侧重未来生成而忽视三维理解、大语言模型缺乏几何演化预测能力的差距,该研究提出 HERMES++ 统一驾驶世界模型。通过鸟瞰图表示整合多视角信息、LLM 增强世界查询促进知识迁移、当前到未来链接桥接时间差以及联合几何优化确保结构完整性,该方法在多个基准测试中表现优于专用方法,同时实现未来点云预测与三维场景理解任务的高性能。论文已被 IEEE TPAMI 接收,代码与模型将公开。
推荐理由:该工作提出统一框架融合三维场景理解与未来几何预测,填补语义解释与物理模拟间的差距。
MARE(Modular Autonomy and Rendering Environment)是一个基于 Unreal Engine 5 和 ROS 2 的开源仿真套件,专为月球车在极端光照条件下的感知与自主导航设计。
论文提出 EgoACT 测试时框架,旨在将语义动作从自观视角中解耦并在新的视觉上下文中复现,以支持可扩展的世界仿真和具身策略学习。现有基于条件引导的视频生成方法引入几何估计误差,而运动迁移方法难以编码丰富的接触动力学。
arXiv 论文 LaLa-World 展示了一种 JEPA 风格的潜在世界模型方法,该模型采用视频生成模型的语言条件接口,从仿真环境和机器人轨迹中联合学习。其设计包含将数值动作与视觉变化统一描述为语言,并基于大语言模型构建预测器以解释语言条件。
谷歌开源了名为 Harness² 的框架,旨在解决递归自我改进(RSI)在真实开放世界中缺乏标准答案和过度拟合的问题。该系统采用双层递归架构:任务级递归通过提议 - 探测 - 合成机制在无裁判环境下进行行为对比以修补缺陷;改进级递归则将调试记录沉淀为元能力存入经验库,供后续任务检索复用。
推荐理由:谷歌开源 Harness²,通过双层递归架构实现 Agent 在运行中的自我修补与经验沉淀,显著提升了多基准任务表现。
Rubric-based reinforcement learning 在训练中常因奖励失效导致分数坍塌或虚假高分。本文提出 HarnessRL,通过任务采样、回滚引导和评分标准三个接口与策略共同演化,利用训练时记忆检索历史证据来归因失败并驱动更新。
VAST 正式发布并开源实时世界模型 EdenLive,首次实现在实时生成前提下同时完成任意参考输入、任意画风生成和长时连续运行。在单张 Nvidia RTX 5090 消费级显卡上,720P 条件下 5B 模型生成速度超过 24FPS,端到端延迟为百毫秒级,支持分钟级画面持续生成。
推荐理由:VAST 正式发布并开源实时世界模型 EdenLive,支持在消费级显卡上实现分钟级连续生成与交互渲染。
Jev 1.13 在 Terminal-Bench 2.1 的 21 项任务中,将智能体尝试成本提高 19% 但保持 73.0% 通过率不变。该模型虽比小 LLM 控制器便宜,却因校准偏差导致不必要的验证请求。研究代码已开源,结论表明决策模型控制器在降低成本方面存在局限。
论文介绍 Athanor,这是一个在真实 GPU 上运行的开放智能体原生系统,旨在支持智能体的自主后训练研究(AutoPostTrain)。该系统赋予智能体完全的研究自主权,提供低摩擦工程工具、冻结评估服务、托管作业、去污染数据及持久化记录,且禁止使用外部教师模型。
推荐理由:Athanor 系统在沙箱环境中让 Claude Opus 5.5 智能体自主完成基座模型的后训练,首次演示了前沿智能体重组已知方法即可达到官方指令微调版本的效果。
Drake v1.58.0 正式支持 Xcode 27 及最低 macOS Tahoe 版本。针对有序容器操作 drake::symbolic::Expression 或 Variable,必须显式传入 CompareLess 等模板参数以适配新版 libc++ 优化,旧默认写法将在三个月后失效且 Xcode 27 下立即报错。
论文提出 PAWA 数据集与框架,解决现有数据缺乏多玩家独立动作与全景视频同步的问题。该框架解耦 CPU 游戏捕获与 GPU 渲染,支持超过 64 名同时在线的玩家,并能在新观测配置下重渲染会话而无需回放游戏。