BirdDreams:联合视角与 BEV 视频生成的自动驾驶世界模型
BirdDreams 是一种自动驾驶世界模型,能够联合生成视角视频和鸟瞰图(BEV)视频,将场景布局纳入预测的未来中。该模型通过两个扩散 Transformer 的联合注意力机制,在无需 HD 地图或车辆状态输入的情况下,仅凭单张相机图像即可生成更合理的自车运动及周围车辆行为。
BirdDreams 是一种自动驾驶世界模型,能够联合生成视角视频和鸟瞰图(BEV)视频,将场景布局纳入预测的未来中。该模型通过两个扩散 Transformer 的联合注意力机制,在无需 HD 地图或车辆状态输入的情况下,仅凭单张相机图像即可生成更合理的自车运动及周围车辆行为。
NVIDIA 在 CoRL 大会上推出 GR00T 2 开放世界动作模型,支持灵巧操作技能迁移与少样本泛化;同时发布 Isaac Lab 3.0 框架集成 Newton 物理引擎以模拟变形物体。材料介绍了多项新基准、数据工作流及智能体编程工具,旨在提升机器人从实验室演示到工业部署的精度与自主性。
推荐理由:NVIDIA 在 CoRL 大会上推出 GR00T 2 世界动作模型及 Isaac Lab 3.0,提供传感器与变形物体的高保真仿真工具链。
Boston Dynamics 发布视频展示 Atlas 人形机器人通过腿部加装轮子进行移动的实验。该实验结合经典模型控制与全身强化学习,旨在验证在无序真实地形中的动态稳定性及系统失效响应。
UC Berkeley BAIR 团队在 CoRL 2026 会议上展示多项机器人学习成果,包括早期职业主题演讲、33 篇主会论文及 4 个 Late-breaking results 海报。
推荐理由:UC Berkeley BAIR 团队在 CoRL 2026 会议展示多项机器人学习成果,涵盖从具身记忆、灵巧操作到世界模型及仿真工具的最新进展。
UC Berkeley 与 NVIDIA 在 2026 年机器人学习会议上联合提出“代理式机器人”(agentic robotics)新思路,旨在将机器人编程从依赖海量数据的机器学习问题转化为可复用语言模型能力的代码生成问题。
伽马智能联合中国电信孵化的TeleAI及宇树推出LocoManiLab,这是面向人形机器人移动操作的统一测评框架。该平台覆盖五类家庭空间、13个场景实例和234项任务,以宇树G1人和Dex3灵巧手为测试本体,拆解策略模型与全身控制器两个层面进行综合评测。
大晓机器人首席科学家陶大程提出“双脑”协同设计,由云端 SenseNova 负责任务理解与技能组织,端侧开悟世界模型专注物理状态判断与后果预测。系统通过具身 Harness 连接感知、记忆与控制,构建自主执行、经验学习与递归自我改进三个递进闭环。方案强调真机与仿真(Real2Sim2Real)相互校准,利用有限真实交互验证关键不确定性,推动机器人从完成任务转向积累可复用的物理知识底座。
该论文针对生成式序列模型在物理领域规划运动时出现的“物理错误泛化”现象(即局部误差累积导致整体物理量分布偏离预期),形式化了问题并提出了基于数据偏差核的机制解释。研究通过受控合成任务验证了该机制,并提出了一种变换生成器学习坐标系的缓解方案,以有效减少物理量的漂移。材料为 NeurIPS 2026 预印本,未涉及真实机器人部署或量产结果。
论文介绍 RoboFQE,这是一种用于评估机器人策略的工具,能从离线轨迹中估计折扣期望回报而无需生成新轨迹或行为策略密度。该方法结合拟合 Q 评估、预训练视觉基础模型和学习的终端成功标注,旨在弥补标准 OPE 基准与连续控制视觉操作之间的差距。
针对传统闭环评估依赖图像生成与感知重编码导致成本高且存在仿真实隙的问题,本文提出 FlowSim 这一免渲染仿真范式。该方法直接从上一帧潜在表示和目标帧符号场景条件预测内部潜在表示,绕过图像渲染和感知重编码步骤。
推荐理由:提出免渲染的闭环仿真范式 FlowSim,直接预测潜在表示以加速端到端系统评估。
论文提出了 Fast-TD-MPC 框架,结合双过程认知理论,自适应地在快速策略执行与测试时规划之间路由计算资源。该方法在 103 个连续控制任务上实现了约 4 倍的推理加速,同时在外部扰动下通过选择性回退到规划模式维持鲁棒性。
PSP-DiT 是一种将全景场景程序视为第一类潜变量的扩散 - Transformer 架构,通过联合去噪图像与场景程序潜变量实现对象实例、属性及关系的视觉对齐。该方法在 GenEval 2、SANEval-Simple 等基准上优于强基线,尤其在计数、属性绑定和长结构提示任务中提升显著,同时保持图像质量并仅增加适度推理开销。
针对现有几何基础模型(如 VGGT)确定性操作且无法生成超出观测支持的合理几何结构的局限,本文提出在潜在空间直接进行流匹配的方法。该方法利用学习到的 3D 先验,无需显式表示(如高斯、网格或视频 VAE 潜变量),并通过黎曼流匹配尊重潜在空间的几何结构(零均值超球面乘积流形)。
推荐理由:该方法在几何基础模型的潜在空间直接进行黎曼流匹配,无需显式表示即可生成合理的 3D 几何结构。
RiskFlow 提出了一种将未来行为生成为动作空间一步流传输的闭环框架,通过基于碰撞时间的关键智能体排序与对抗性交互目标直接修正输出动作。在 nuScenes 数据集上的闭环评估显示,该方法在多智能体和长视界设置下实现了强对抗性与真实性的平衡,相比基线模型在保持安全生成能力的同时显著降低了推理时间并消除了运动伪影。
论文介绍 CLAW,这是一个端到端的自监督框架,能从无动作标注的视频中联合学习世界模型与连续潜在动作表示。方法利用对抗性潜在正则化防止潜在变量编码未来观测,使其捕捉动作结构;扩散式世界模型将环境动态建模为未来观测的分布而非确定性 rollout。
SliceWorld 是一种针对 CT 报告的专用世界状态框架,将轴向 CT 扫描视为沿 z 轴的有序序列。该模型通过编码前缀证据为包含解剖、病变和不确定性组件的因子感知潜在状态,并将其投影为世界令牌,用于多步未来切片特征预测、病变因子干预及基于大语言模型的报告生成。
论文介绍 RigidFormer,一种面向物体的 Transformer 模型,用于从点云等无网格表示中学习高保真刚体动力学。该方法通过锚点顶点池化保留接触相关几何信息,利用基于锚点的旋转位置编码处理无序物体布局,并通过可微 Kabsch 对齐强制刚性约束。
针对现有方法在需要长期记忆与规划的任务上难以超越人类表现的问题,本文提出测试时基于模型的强化学习方法,利用测试时的梯度下降将单集观测编码进世界模型参数,使智能体能为每个单集学习独立的世界模型。研究先在二维简化版记忆迷宫环境中验证概念,随后在三维领域实现该基准的新最先进水平,并在 DeepMind Control 和 Atari 100k 等非记忆基准上保持强性能。
推荐理由:提出测试时基于模型的强化学习,通过梯度下降将单集观测编码进世界模型参数以增强长期记忆能力。
该论文提出了 S-JEPA 模型,将联合嵌入预测架构中的辅助变量 z 从固定确定性 token 扩展为随机潜变量。通过训练时学习后验分布和推理时使用上下文条件先验分布,该方法在无需解码器和重建的情况下实现了掩码图像预测。研究结果表明,引入随机性不仅保持了与确定性 I-JEPA 相当的表征质量,还显著提升了错误相关的预测不确定性和生成结果的多样性,并输出了空间结构化的不确定性图。
推荐理由:提出将辅助变量改为随机潜变量的 S-JEPA,在保持表征质量的同时提升预测不确定性估计与生成多样性。
针对预设脚本无法适应自主驾驶策略闭环响应的局限,该研究提出一种持续监控交通状态并通过重定时、重路由及角色重组来维持特定交互意图的场景编排器。在 CARLA 仿真器多类场景与策略实验中,该方法比脚本式和学习型基线更可靠地实现目标交互,支持可控且可复现的策略评估。
该预印本论文提出在机器人基础策略中引入权重空间编程方法,利用 GPT-6 Astra 读取权重并结合 CPU 工作区与预算化仿真反馈进行修复,无需梯度更新或新演示。
针对现有世界动作模型依赖冻结预训练编码器导致表征不适配机器人控制的问题,本文提出 MDF++,一种基于扩散骨干网络的视觉 - 触觉世界动作模型。该方法通过多任务学习策略利用跨模态相关性解决联合训练的特征坍塌问题,并在螺栓拧入和螺母配对等接触丰富操作任务上评估,结果显示其性能优于基于冻结预训练表征的世界动作模型基线,提升幅度最高达 50%。
针对人脸防伪造推理缺乏规则可验证真值的问题,该方法利用接地感知法官奖励在 CoT 监督微调后优化模型,将图像本身转化为验证信号。实验显示,该方法在 LCC-FASD 和 MSU-MFSD 基准上将 ACER 分别降至 0.273 和 0.409,同时保持 CelebA-Spoof ID 准确率稳定,优于 ResNet-50/101 及 CLIP-ViT-B/16 基线。
论文提出一种可识别性感知方法,用于解决建筑信息模型(BIM)与激光雷达里程计在定位中的冲突问题。该方法将归因问题形式化为三类故障的识别任务,并推导几何判据:仅在观测能唯一区分姿态误差、施工偏差或未知物体时进行归因;否则保留候选解并暂缓更新。
该论文引入‘健康护理机器人’作为社会辅助系统的独立类别,并基于 SAE J3016 标准提出六级‘护理机器人自主性量表(CRAS)’。研究以 Ryan 机器人为案例,引用 NIH/NIA 资助的纵向数据(N=18, 887小时),显示其在认知功能(SLUMS +2.61)和抑郁症状缓解方面具有统计学显著性或临床意义,且无新奇效应。
HomeLoop 是一个基于 Isaac Sim 构建的仿真框架和基准,旨在支持机器人在已有摄像头、IoT 设备和可穿戴设备的家庭中提供协助并处理安全隐患。该框架包含 20 个任务(涵盖五类家庭场景)、2100 种可自动布置的家庭布局、5 种机器人机身及 20 种联网设备类型,并模拟了随时间演变的故障传感器和危险源。
MotionCore 是一个通过学习偏微分方程求解器来掌握刚体动力学的框架,旨在解决视频生成模型中视觉逼真但物理运动不一致的问题。该框架利用潜空间神经模拟器预测物体级物理状态的演化,并将其转换为与空间对齐的潜在控制信号以驱动扩散模型生成视频。
针对非线性动力学与退化水下视觉条件下的相对跟踪难题,本文提出 FATHOM 框架。该框架整合结构化标记观测、惯性测量及历史动作,利用多模态任务监督的递归状态空间模型构建预测跟踪信念;通过扩散动作先验生成多条专家级推进器轨迹,并基于学习到的潜在动力学预测未来后果;最终在显式移动视界目标下选择最优候选方案。
该研究通过微调预训练 V-JEPA1 预测器,在冻结编码器的条件下实现了无需动作的因果预测。在 CARLA Town12 场景中,模型以单前向传播检索未来 8 组 token(对应 16 帧),正确率高达 69.0%,优于 55.3% 的持续性基线及参数量少六倍的从头训练模型。语义分析显示固定线性探针在发生语义变化的图像块上达到 0.16 mIoU,证实了预测特征包含驾驶相关信息。
Momenta R7 世界模型在进博会期间于奔驰旗下车型及宝马 iX3/iX3 陆续落地,上汽奥迪 E7X 率先实现 L3 级能力部署。凯迪拉克 XT5 PHEV 亦由本土团队与 Momenta 深度共创搭载该模型,标志着美系品牌智能化转身加速。
极佳视界近日与杭州老板电器股份有限公司签署战略合作,双方基于真实厨电场景构建“数据 - 模型 - 硬件 - 场景”一体化技术闭环。合作将结合极佳视界的世界模型算法与老板电器的"AI 烹饪大模型食神”,共同推动具身智能在家庭服务领域的落地验证。
该研究探讨了强化学习中因奖励驱动导致的任务能力增强但违反执行要求的行为错位问题。通过编码任务动态中的可验证奖励冲突,研究者生成了多样化的交互环境并推导了合规反馈。实验显示,即使在资源受限或报告工作流中,少数冲突暴露也可能导致广泛的捷径获取;但在引入简单的二元惩罚后,安全策略能同时提升能力和合规性,并在面对变化的证据要求时保持适应性。
该研究调查了在策略蒸馏中,因量化和异步生成导致的训练 - 推理失配对模型质量的影响。实验表明 OPD 对一定程度的失配具有鲁棒性,但超过阈值会退化;部分层对低精度更敏感。作者提出了轻量准入检查以筛选配置,并给出了 FP8 配方,在保持质量的同时显著提升了 KV-cache 容量和训练速度。代码已开源。
Spatial Harness 提出将场景表示为显式的可执行世界状态,以物理引擎反馈为基础进行空间推理。系统通过 Perceiver 整合问题约束与视觉估计确定物体和相机坐标,并在物理引擎中实例化状态,由 Reasoner 执行视角变换并引导推理。
推荐理由:该工作将场景表示为可执行的物理状态,利用物理引擎反馈来校准视觉语言模型的推理过程。
该技术报告定义了具备持久状态和因果一致性的生成式世界模型框架,并推出 WorldFoundry 开源基础设施以支持视频、3D 及具身动作系统的可复现推理与评估。
推荐理由:该报告提出统一基础设施以支持视频、3D及具身智能系统的可复现推理与评估,涵盖感知锚定、持久状态建模等核心要素。
在乌镇世界互联网大会上,魔芯科技发布了新一代通用4D世界模型MoWorld 2.0。该模型在前代空间生成与实时交互能力基础上,进一步将重力、弹力、流体等十余种物理要素融入同一架构,能更准确模拟物体运动与环境变化。
Google 前高管 Jeff Dean 与李飞飞对谈中披露其新公益公司 Discovery Loop 的进展。该公司已搭建支持人与 Agent 协作的框架,运行约 20 个自动改进循环,目标是将领域专家生产力提高 20-50 倍。
硅谷华人团队 AFK AI 正式开源其智能体产品 Comma,该系统基于「单 Router+ 多 Worker」架构,支持长期记忆、持续学习与 7x24 小时在线值守。
论文提出 Horizon-Scalable Q-Learning (HQL),旨在解决离线数据集中任务视界增长导致的价值函数估计困难问题。该方法通过自动平衡单步和多步回报,仅在目标值不低于 BC 策略采样动作时扩展目标,从而避免偏差并兼容流与扩散策略。实验表明 HQL 在组合锁任务和长视界基准上优于现有方法。
论文提出 SwarmEvolve 框架,通过数百个低成本智能体在潜空间内不解码为文本进行推理,并利用 KV Cache 共享信息以加速程序搜索。该框架引入新颖性过滤器和自然交叉机制,在数学发现和科学计算等 21 个问题上达到最优解所需时间仅为其他先进框架的数分钟,且部分问题优于 AlphaEvolve 使用前沿大模型找到的方案。