跳到正文

技术方向

世界模型 最新动态

世界状态建模、预测、可控生成与交互;区分视觉生成、空间导航和具备物理预测能力的系统。

574 条精选近 30 天 307 条共收录 1,758 条

更新

精选归档 · 第 3 页

11月16日周一第 41–60 条
  1. 上海人工智能实验室 · 科研动态78

    上海AI实验室发布开源书生科学多模态大模型S2.1 Flash

    上海AI实验室发布并开源书生科学多模态大模型S2.1 Flash(简称书生-S2.1 Flash),依托统一表征架构支持分子、光谱等多类科学数据输入,融合视觉感知操控科研软件能力。模型在递归式自我改进模式下持续迭代优化,已在CT切片恢复、遥感水域变化量化、航空发动机装配建模检查及脑电伪迹剔除四项任务中验证闭环执行能力,推理成本显著降低且交付可复核的工程文件。

    推荐理由:上海AI实验室发布书生-S2.1 Flash,融合科学多模态理解与通用智能体能力,支持在专业软件中执行复杂科研任务并交付可复核的工程文件。

11月14日周六
  1. The Decoder · Robotics80

    Runway 开源机器人控制模型 Praxis-1

    AI 公司 Runway 正式开源其机器人控制模型 Praxis-1,该模型基于视频训练,能预测环境变化并计算机器人动作。材料提供了 Apache 2.0 许可的权重与代码下载入口,报告了其在 RoboLab-120 榜单上的表现及在真实 Franka 机械臂上的任务成功率,同时指出了对特定数据微调的需求及硬件要求。

    推荐理由:Runway 开放了基于视频训练的机器人控制模型 Praxis-1,提供 Apache 2.0 许可权重与代码,并报告了在仿真及真实机械臂上的性能数据。

11月13日周五
  1. arXiv · 机器人与计算机视觉82

    Instant NuRec:面向驾驶场景仿真的前馈式 3D 高斯重建模型

    NVIDIA 发布 Instant NuRec,这是一个前馈神经网络模型,旨在解决传统神经仿真方法速度慢且需逐场景调优的问题。该模型仅需一次前向传播,即可将多视角驾驶日志(约 10-20 秒)快速重建为包含静态与动态层的 3D 高斯泼溅(3DGS)世界、天空立方体及相机 ISP 校正结果。

    推荐理由:NVIDIA 提出 Instant NuRec,通过前馈网络将多视角驾驶日志在约 1.5 秒内重建为可仿真的高斯泼溅场景,性能优于现有基线。

  2. arXiv · 机器人与计算机视觉82

    NVIDIA 发布 OmniDreams:面向自动驾驶闭环仿真的实时生成式世界模型

    NVIDIA 发布 OmniDreams,这是一个基于 Cosmos 扩散模型中后训练的实时生成式世界模型,旨在解决长尾场景下自动驾驶策略安全评估的瓶颈。该模型通过自回归方式根据过去帧、当前仿真状态及即时驾驶动作生成逼真的传感器视频,能合成极端天气和不可预测的动态行为等难以捕捉的现象。

    推荐理由:NVIDIA 推出 OmniDreams,利用 Cosmos 扩散模型基座实现实时闭环生成,支持极端场景与动态交互,并展示在 NuRec 数据集上优于 Alpamayo 1.5 的预训练策略性能。

  3. arXiv · 机器人与计算机视觉78

    CanViT:迈向主动视觉基础模型

    论文介绍 Canvas Vision Transformer (CanViT),这是首个任务与策略无关的主动视觉基础模型 (AVFM)。该模型利用场景相对 RoPE 结合视网膜视觉骨干网络与时空图景全局潜在工作区,并通过 Canvas Attention 机制实现高效交互。

    推荐理由:提出首个任务与策略无关的主动视觉基础模型 CanViT,在低分辨率瞥视下实现优于现有模型的分割精度与推理效率。

  4. arXiv · 机器人与计算机视觉78

    AstroMemBench:具身航天体记忆系统基准

    AstroMemBench 是一个针对具身航天体记忆系统的基准测试工具,涵盖行星表面操作、在轨服务及深空探索等九项任务。该基准包含 16 个子挑战、140 个模板和 2240 个实例,通过确定性环境对任务完成度、状态变化、安全性和资源使用进行评分。

    推荐理由:该基准通过确定性环境量化了具身航天体在通信延迟与资源受限下的记忆系统性能,为长周期自主任务提供了可复用的评估框架。

  5. arXiv · 机器人与计算机视觉82

    AFTER:一种用于错误驱动保留的具有自适应快慢时间尺度的世界模型

    针对机器人交互中动力学突然且持久变化的适应难题,论文提出了 AFTER-WM 世界模型。该模型受人类大脑预测编码启发,利用预测误差驱动快速修正(衰减)与慢速修正(持久),并动态调整预训练专家的组合权重而不改变其本身,以平衡响应性、稳定性与持续性。

    推荐理由:提出 AFTER-WM,利用快慢时间尺度自适应机制解决动力学突变下的预测误差累积问题。

  6. arXiv · 机器人与计算机视觉82

    从基础 VLM 到多功能驾驶 VLM:一种三元组增量训练方法

    针对将通用视觉语言模型(VLM)适配自动驾驶需大量空间先验或架构重构的难题,本文提出非侵入式的三元组增量训练框架。该方法利用自动构建的图像、深度和问答三元组,通过统一三流训练管线注入 3D 几何感知:主 VLM 流适应驾驶任务,辅助深度流引导视觉骨干网想象场景几何,冻结的双生 VLM 流防止语义漂移。

    推荐理由:提出非侵入式三元组增量训练框架,在保留通用 VLM 能力的同时通过辅助深度流注入几何感知,部署时无推理开销。

  7. arXiv · 机器人与计算机视觉82

    PhysCapBench:首个跨域物理 grounded 视频描述基准发布

    PhysCapBench 是首个统一涵盖第三人称场景、第一人称操作及手持夹爪演示的物理标注基准,包含 1,500 条经人工验证的视频序列并覆盖七个物理维度。该基准显示,相比仅含元数据的描述,富含物理信息的视频语言监督可将视频重建的 LPIPS 误差降低 8.6% 至 30.9%,并在 pi0.5 策略微调任务中带来 7.5 个百分点的成功率提升。

    推荐理由:PhysCapBench 作为首个跨域物理标注基准,通过量化语言监督中的物理信息缺失,为视频重建与策略微调提供了可检验的评估标准。

  8. arXiv · 机器人与计算机视觉78

    ReTime-Compose:让驱动世界模型移动场景而非仅移动相机

    Yuqiao Feng 和 Xiaoyu Ao 在 arXiv 上发布研究论文,指出当前广泛使用的控制指标仅检查相机是否跟随指令,而忽略了场景响应不足的问题。作者发现现有模型生成的场景变化最多仅为真实视频的三分之一,且无法区分执行与忽略的速度指令。

    推荐理由:作者指出主流驱动世界模型仅移动相机而未同步场景,提出无需训练的 ReTime-Compose 方法以几何方式注入计划。

  9. arXiv · 机器人与计算机视觉78

    未来预测分数忽略了什么:关于世界模型的预测还是持续?

    预训练视频世界模型常依据未来预测分数进行选型,但该分数混合了编码器质量、近期相似性及预测器贡献。研究通过匹配对照组在 2.7 万家庭第一人称视频试验中分离三者,发现 V-JEPA 系列内部预测器贡献差异显著,且仅对动作条件化模型为负值。建议报告未来预测分数与其持久性基线的差距以增强可解释性,下游效用需另行评估。

    推荐理由:提出用匹配对照组分离预测分数与编码器效应,建议报告差距而非原始分数以评估世界模型真实性能。

  10. arXiv · 机器人与计算机视觉78

    你的世界模型知道动作有后果吗?

    该文指出当前具身世界模型的指标多关注输出质量,却忽视了对反事实动作后果预测的保真度审计。作者提出利用敏感性分析检查模型对动作扰动的强制响应,以评估其预测能力,并强调硬件部署需建立新的评估框架来平衡状态误差与准确的敏感性预测。材料为 CoRL 2026 研讨会论文,未涉及具体产品发布或真实机器人部署结果。

    推荐理由:提出通过敏感性分析审计世界模型对反事实动作后果的预测保真度,为硬件部署前的评估提供新框架。

  11. Hugging Face Daily Papers83

    Actor, Judge, or Teacher? 理解长视界智能体中的决策模型

    论文研究了决策模型在长视界智能体中作为行动者、裁判者和教师的三种角色。实验发现,即使模型在执行任务时表现不佳,只要能在回合结束后准确评估动作后果,就能有效区分有用与无效的动作。作为教师,JEV 模型利用这种能力将 Qwen2.5-1.5B 策略在 ALFWorld 和 WebShop 上的成功率分别提升至 82.9% 和 71.4%。代码已开源。

    推荐理由:研究对比显示,即使作为执行者表现不佳的决策模型,在评估动作后果或指导强化学习时仍能有效提升策略成功率。

11月12日周四
  1. The Robot Report82

    Runway 发布 Praxis-1 世界动作模型用于具身智能

    Runway AI Inc. 昨日发布了其世界动作模型 Praxis-1,该模型现以 Apache 2.0 开源权重形式向开发者开放,支持商业使用。Praxis-1 是一个拥有 27B 参数的混合专家扩散 Transformer,旨在预测视频与动作,基于 Runway 的视频基础模型构建,强调先理解物理世界再学习行动。

    推荐理由:Runway 发布 Praxis-1 世界动作模型,提供 Apache 2.0 权重与推理代码,支持多形态机器人及 NVIDIA 硬件部署。

  2. 智东西 · 机器人84

    CoRL 2026 放榜:伯克利 SuperMimic 获最佳论文,英伟达斯坦福 RoboTTT 获最佳学生奖

    机器人学习顶会 CoRL 2026 公布获奖名单,加州大学伯克利分校的 SuperMimic 研究获得最佳论文奖,该方法基于可微世界模型将人形机器人全身控制训练算力降低超千倍,单卡 3 小时即超过百卡基线并已在宇树 G1 真机验证。英伟达与斯坦福联合团队的 RoboTTT 获最佳学生论文奖,其通过测试时训练将策略上下文扩展至 8000 个时间步,在多项灵巧装配任务中平均完成率提升至 79%。

    推荐理由:CoRL 2026 最佳论文展示可微世界模型将人形机器人训练算力降低千倍,最佳学生奖提出长上下文策略方法。

11月11日周三
  1. 上海人工智能实验室 · 科研动态80

    上海 AI 实验室推出元认知智能体框架书生·太一

    上海 AI 实验室发布元认知智能体框架书生·太一(Sage·Taiyi),旨在解决科学探索中缺乏持续反馈闭环的问题。该框架通过科学搜索与认知调控协同,将科研猜想、路径与实证串联,驱动智能体在方案生成时动态迭代认知。

    推荐理由:上海 AI 实验室推出元认知智能体框架书生·太一,在跨学科科学构思评测中八项指标领先,并已在有机化学、材料设计等领域支撑真实科研闭环。

  2. arXiv · 机器人与计算机视觉82

    SSR:迈向开放世界的稳健与人称对称人形机器人穿越框架

    论文提出 SSR 框架,旨在解决人形机器人在非结构化地形上的安全高效移动难题。该方法通过自监督学习结合想象落脚点引导,预测摆动脚接触点并评估支撑稳定性以减少滑倒;同时利用等变潜在空间对称性增强实现高维视觉下的双侧协调,并结合特定地形的多判别器运动先验鼓励类人行为。实验表明 SSR 在楼梯、宽缝隙和高台等极端挑战下均能实现安全稳定的长时程穿越。

    推荐理由:提出端到端框架 SSR,利用想象落脚点引导与对称性增强实现人形机器人在复杂地形的稳定行走。

  3. arXiv · 机器人与计算机视觉78

    MAPLE:基于潜在空间的端到端自动驾驶多智能体博弈框架

    论文提出 MAPLE 框架,旨在解决视觉语言动作(VLA)模型因传统模仿学习训练导致的闭环评估脆弱性问题。该框架在 VLA 模型的潜在空间内实现反应式、多智能体的动态驾驶场景推演,使自车与周边交通流能独立控制并相互响应,从而支持闭环训练。

    推荐理由:提出 MAPLE 框架,在 VLA 模型的潜在空间实现可扩展的闭环多智能体博弈训练,无需外部仿真器。