Code World Model 2.0:迈向无限可控视频生成
论文提出了 Code World Model 2.0(arXiv:2611.22925),核心是 Invoker-Render 架构,通过双向创作模型与因果四步流式模型的配对,在共享结构代理、外观参考和语言条件下实现可控视频生成。
论文提出了 Code World Model 2.0(arXiv:2611.22925),核心是 Invoker-Render 架构,通过双向创作模型与因果四步流式模型的配对,在共享结构代理、外观参考和语言条件下实现可控视频生成。
该论文针对现有世界模型主要关注动作预测而缺乏可靠指令遵循、任务进度追踪及安全避障的局限,提出一种融合三种互补机制的世界 - 动作学习框架。具体包括:具备针对性后训练的语言条件化动作接口以响应指令运动;循环指令消耗预测以跟踪任务进度并确定终止时机;以及高斯场景后训练通过轨迹模仿和可微几何反馈增强障碍规避能力。
论文介绍了 ASTRA,这是一个基于 NVIDIA Isaac Sim 构建的自主水面车辆(ASV)仿真框架。该框架结合了海洋车辆动力学、照片级真实的感知渲染以及 ROS 2 自主接口环境。
恩智浦半导体发布全新的统一机器人平台,该平台基于其“神经轴架构”,能够安全连接感知、实时控制及 AI 处理功能。通过预集成的软件和经过验证的子系统互操作性,开发者可从电机控制等单一功能快速扩展至构建完整的自主无人机系统,将原本需数月的集成与验证工作量缩短至几天或几周。平台整合了恩智浦在安全与功能安全方面的技术,助力开发人员构建下一代值得信赖的物理人工智能系统。
针对自驱动实验室(SDL)自动化流程故障,该研究开发了基于 UR3e 机械臂与 3Dconnexion SpaceMouse Pro 的遥操作接口。对比测试表明解耦控制器模式缩短了任务完成时间并减少旋转运动,且无参考路径引导时用户更具目标导向性。工作验证了人机回环机制在 SDL 故障恢复中的可行性,为未来共享自主性研究奠定基础。
该论文研究了同策略蒸馏(OPD)如何重塑语言模型智能体在数学、ALFWorld 和 tau^2-bench 等任务中的 ReAct 交互模式。研究发现,通用推理监督能将数学工具尝试率从 70.4% 降至 14.4%,准确率从 16.7% 提升至 38.0%;代码解释器监督改善了家庭操作和零售查询能力。
Alexander A. Wolf 在 arXiv 发布预印本论文,引入振荡处理单元(OPUs)概念,即共享节律的合成神经元组。该架构通过定向交互将输入活动与先验状态转化为振荡占用空间(OOS),支持逻辑数值运算、联想回忆及固定权重下的闭环决策。研究建立了测量关系图谱以支持响应类预测,旨在为生物仿生智能提供经验保留于状态中的计算基底。
该报告介绍了互惠世界模型(RWM)及首个版本 Duo v1,旨在实现感知与响应的实时双向交互。系统通过自回归建模处理连续交互推理,并引入意图生成与行为实现的统一时间线设计。材料仅作为技术报告发布,未提供真实机器人部署结果或具体性能指标。
Google DeepMind 正式向开发者、企业及消费者发布 Gemini 4 Carbon。该模型在 CursorBench 4.0、WANDR 等基准测试中排名第一,成本低于次优外部模型;在金融研究、全栈开发及网络安全漏洞挖掘与修复方面表现卓越;同时在科学推理(如蛋白质结构预测)和模型安全对齐上取得显著进展。
推荐理由:原文给出了模型在复杂知识工作、全栈开发及前沿网络安全领域的基准表现与成本优势,开发者可据此评估其是否适合现有工程流程。
Fable 5.2在智能体编程、科学研究等基准测试中全面超越Opus 5.5,软件工程测试达69.9%,输出速度提升30%且价格降20%。海外开发者利用其生成8小时零人工反馈的3A游戏及76分钟海底题材作品,但高推理档位导致Token消耗剧增,部分任务性价比下降。
论文介绍 PoEM 框架,旨在通过已训练的模型和新的奖励函数直接近似目标 RL 策略,而无需重新进行计算密集型的强化学习训练。该方法利用新奖励函数可表示为现有奖励线性组合的特性,在 log-probability 空间中将最优策略表达为现有策略的组合;即使奖励非线性相关,RL 学到的策略也常跨越低秩子空间。
针对现有网络框架固定但缺乏生成性、纯生成式世界模型难以保持确定性全局框架的问题,本文提出 Web World Model(WWM),将世界状态与物理规则用普通 Web 代码实现以确保逻辑一致性,由大语言模型在此基础上生成上下文、叙事和高层决策。
该技术报告定义了具备持久状态和因果一致性的生成式世界模型框架,并推出 WorldFoundry 开源基础设施以支持视频、3D 及具身动作系统的可复现推理与评估。
推荐理由:该报告提出统一基础设施以支持视频、3D及具身智能系统的可复现推理与评估,涵盖感知锚定、持久状态建模等核心要素。
论文提出 Horizon-Scalable Q-Learning (HQL),旨在解决离线数据集中任务视界增长导致的价值函数估计困难问题。该方法通过自动平衡单步和多步回报,仅在目标值不低于 BC 策略采样动作时扩展目标,从而避免偏差并兼容流与扩散策略。实验表明 HQL 在组合锁任务和长视界基准上优于现有方法。
论文提出 SwarmEvolve 框架,通过数百个低成本智能体在潜空间内不解码为文本进行推理,并利用 KV Cache 共享信息以加速程序搜索。该框架引入新颖性过滤器和自然交叉机制,在数学发现和科学计算等 21 个问题上达到最优解所需时间仅为其他先进框架的数分钟,且部分问题优于 AlphaEvolve 使用前沿大模型找到的方案。
论文提出 Khora 框架,解决现有方法在固定智能体数量下训练的局限性。该架构将世界状态演化与视觉渲染解耦,通过统一渲染接口查询智能体特定观测,实现跨视角一致性且无需重训练即可支持推理时任意数量的智能体扩展。定性实验显示该方法能泛化到未见过的智能体数量并保持视觉质量与多智能体一致性,并实现了实时交互式开放世界仿真系统。
该论文评估了采样广度与交互深度对多轮智能体强化学习性能的影响,发现其优势依赖于充足的回合预算且集中于错误恢复与长程韧性,而非均匀提升单步决策质量。作者提出 BudgetMix RL 方法以缓解预算依赖带来的部署风险,并展示了其在多样化执行设置下的鲁棒性。
推荐理由:原文通过多轮交互预算分析揭示强化学习在长程任务中的优势边界,并提出 BudgetMix RL 以缓解部署风险。
VAST 推出 V·STAR 顶尖人才计划,邀请年轻研究者聚焦 3D 生成基础模型、三维理解与智能体及世界模型三大方向。团队已开源面向任意视觉参考的实时交互式渲染器 EdenLive,在单张 GPU 上以超 24 FPS 速度生成 720P 画面并支持分钟级连续生成。该计划提供不限薪资期权激励,面向 2027 届及在校生开放北京、上海等地岗位。
该研究指出传统推测解码仅关注接受率会引入数值噪声并影响长程推理准确性。作者提出通过训练草稿模型在关键决策点被拒绝,利用目标模型进行低噪声推理,在不改变目标模型分布的前提下提升长程代理任务的成功率。材料为 arXiv 预印本,未提及具体部署或评测基准细节。
NVIDIA NeMo 将生产环境证据转化为优先问题与自定义评估,以优化提示词、工具及 harness 代码。通用基准分数无法解释特定领域的智能体失败(如选错工具或遗漏上下文),该方法通过定制化评估直接定位改进点。
论文提出 DRAP(Dynamics-Risk Adaptive Plasticity),这是一种无需回放机制的物理 AI 持续学习方法,旨在解决小步策略误差累积导致闭环任务失败的问题。
推荐理由:提出无需回放机制的 DRAP 方法,通过轨迹风险加权梯度累积来动态调节模型张量的可塑性,在 OpenVLA 子网络上实现了 LIBERO 基准任务中旧行为保留与新任务获取的平衡。
论文介绍 MERIS 框架,用于在计算与时序预算有限的动态机器人环境中执行变化的有向无环图(DAG)工作负载。该方法结合比例中间截止时间、MIMONet 感知的图细化及事件驱动同步,明确区分应用 DAG、内部编解码器图和细化调度图的三种表示形式。
作者发布了 Isekai3D Synthetic Data Generation (SDG) 平台,旨在为视觉与世界模型研究提供多样化的合成游戏视觉数据。该平台结合可复用资产与 Unreal Engine 插件,采用两阶段工作流:首先进行世界仿真以记录状态、动作和相机轨迹;随后回放录制内容以生成渲染视频、图像及深度图等输出。
针对向量化重置条件下终止时序差异导致初始状态不一致的问题,研究提出包含 I1-I5 不变量、溯源日志及自动检查器的评估完整性框架。受控实验显示同步控制下无 ID 错配,但异步冻结批次映射存在不匹配且机制未完全隔离。建议在进行配对统计前核查声明与解析的初始化状态身份及溯源信息。
论文指出当前世界模型虽在图像相似度上表现优异,却忽略了质量、形变等关键物理细节。作者提出 Roz 评估框架,包含 10 个对比任务和 3 个连续任务共 1734 个场景,仅需静态帧或视频输入即可运行。该研究旨在推动基准测试的快速迭代与跨模型比较,并已在 NeurIPS 2026 相关研讨会接受。
推荐理由:提出 Roz 评估框架,通过对比与连续任务验证世界模型是否编码物理属性,解决现有评测不透明问题。
该研究引入协作智能基准(Collaborative Intelligence Benchmark),包含 240 个来自真实记录或现有基准的任务,涵盖拒绝不安全捷径、检查弱模型遗留工作等维度。
论文提出 Harness-S 方法,针对智能体训练中基座执行系统(harness)的局部性、互补性和非平稳性问题,引入方向性 Harness 演化构建可复用的兄弟 Harness 池。
推荐理由:提出 Harness-S 框架,利用辅助 harness 修复基座执行失败并将能力迁移至策略,在 AppWorld 等基准显著优于纯策略训练。
成均馆大学电子电气工程学院团队发布两项新技术,使 AI 系统处理复杂长期任务时更省算力且更安全。研究解决现有代理依赖高频反馈导致的高成本与慢响应问题,成果已上传 arXiv 预印本服务器供查阅。
该论文提出 TetraState 回归测试协议,用于评估学习世界模型在不同配置下的稳健性。实验显示,仅检查模态判定翻转会遗漏大量因配置变化导致的隐性退化案例,需将测试框架版本化并分析多配置间的结果迁移。
该论文提出了 FlapSim,一个模块化的开源 MuJoCo 仿真平台,用于解决扑翼飞行中高频气动动力学与低频飞行控制/强化学习动态之间的协调问题。研究在 48 个涵盖频率、舵机、风场等场景的独立测试集中,对比了五种降阶配置,发现结合多速率时钟同步、三维流入耦合及相位锁定谐波合成的五块模型架构,在保持 65.19 倍 CPU 加速的同时将平均力矩保真度提升至 0.9646。
推荐理由:该工作提出了 FlapSim 模块化开源平台,在 MuJoCo 框架下实现了高频扑翼气动与飞行控制的确定性模拟,并量化了不同简化模型在精度与速度间的权衡。
2026年10月31日,西湖大学在云谷校区正式成立世界模型研究中心,由AutoLab团队主导。该中心聚焦物理智能与世界模型研究,旨在突破智能系统理解物理规律与预测环境变化的瓶颈。
论文提出 Decoupled Predictive Decision Making (DPDM) 架构,将异构智能体决策形式化为基于共享预训练学习器的条件预测任务。
推荐理由:提出 DPDM 架构,利用冻结预测器结合语言与结构化数据预训练,在不更新参数下提升多任务决策准确率。
针对工具超时导致 AI 智能体面临模糊结果和部分执行的场景,该研究提出基于证据的任务恢复框架。方法结合标准观察依赖规划与独立的效果历史裁决器,通过共享可采性检查处理密钥过期、授权时序及残留效应,并利用终端证书区分目标满足与安全完成。
刚成立不久的物理超级智能(PSI)公司宣布,其自研AI科研系统Emmy在量子信息理论的5个开放问题上取得进展,其中3题为本世纪初收录的难题。论文、Lean形式化证明及验证代码已上传至GitHub供学人审查。该系统采用“生成 - 验证”分离架构,利用大模型拆解假设并通过Lean编译器进行严格数学逻辑筛查,旨在实现科学发现的规模化生产。
推荐理由:PSI公司宣布其自研AI科研系统Emmy在量子信息领域取得突破,并公开了Lean形式化证明与验证代码供审查。
WorldOracle 是一个针对动作条件世界模型的评测基准,由普林斯顿大学、UT Austin、多伦多大学、NVIDIA 和 AgiBot 联合推出。该基准通过对比模型生成的预测视频与从相同初始观测出发、遵循相同动作序列的真实机器人执行结果(包括成功与失败案例),量化物理状态正确性、空间对齐度等指标。
上海 AI 实验室于 10 月 23 日至 25 日举办 2026 级专项博士生迎新周,期间完成首批兼职导师聘任以构建多元协同育人网络。实验室主任周伯文勉励新生立足底层范式重构 AI 与科研关系,成长为 AI 原生研究者。活动涵盖科研辩论、圆桌交流及心理支持等环节,旨在护航学生全周期成长并服务国家重大战略需求。
该研究解决部署策略变更使世界模型不确定性失效的问题,在保持物理转移机制和预测器不变的前提下,通过估计状态占据与动作倾向比率实现加权共形校准。实验基于开源 DINO 特征世界模型与 Franka 机械臂轨迹,在强控状态下行动态覆盖率从普通方法的 55.0% 提升至 91.0%,且学习到的代理分布与目标律的总变差距离小于 0.9%。
推荐理由:针对部署策略变更导致的世界模型不确定性失效问题,提出基于加权共形校准的方法以适配目标分布。
上海人工智能实验室联合苏州国家实验室等推出“材华·MatVerse”材料多模态大模型及智能体应用体系。该模型采用独立编码器加统一解码器架构,将 XRD 谱图、电镜图像和分子结构等多源异构数据映射至同一语义空间,实现从知识记忆到逻辑推理的能力跃迁。
推荐理由:MatVerse 材料多模态大模型上线,支持 XRD 谱图与分子结构理解及机理推理,并开放评测基准。
10 月 23 日,上海 AI 实验室联合壁仞科技举办交流会并发布多项合作计划。实验室启动“国智揭榜”首期数智求解黑客松与“书生·端砚”科教共创计划,依托书生-S2 大模型验证前沿数学能力并开发通识课程。此外,联合华东师范大学、壁仞科技及上海仪电构建共享算力池,打通科研出题、算力支持与产业验证的完整协同路线。
该论文提出 Skill^infty 框架,通过让元智能体利用可编码为技能的元技能来诊断执行轨迹、生成候选方案并分配搜索预算,从而实现技能优化过程的递归自我改进。
推荐理由:提出递归自我改进的 Skill^infty 框架,在技能优化任务上超越人工与现有方法。