跳到正文

技术方向

世界模型 最新动态

世界状态建模、预测、可控生成与交互;区分视觉生成、空间导航和具备物理预测能力的系统。

574 条精选近 30 天 307 条共收录 1,758 条

更新

精选归档 · 第 29 页

1月21日周三第 561–574 条
  1. World Labs · Research & Insights77

    World Labs 发布 World API:基于 Marble 多模态世界模型生成可导航 3D 空间

    World Labs 正式发布 World API,这是一个面向公众的接口,允许开发者通过文本、单图、多图集合、全景或视频等多模态输入,直接生成可导航的 3D 世界。

    推荐理由:World Labs 正式推出 World API,允许开发者通过文本、图像或视频生成可导航的 3D 世界并集成到现有工作流中。

1月16日周五
  1. Google DeepMind80

    DeepMind 发布 D4RT:统一 AI 模型实现 4D 场景重建与时空追踪

    Google DeepMind 推出 D4RT(Dynamic 4D Reconstruction and Tracking),这是一个统一的编码器 - 解码器 Transformer 架构,通过查询机制从 2D 视频中恢复 3D 动态世界。

    推荐理由:DeepMind 推出 D4RT 统一模型,以查询机制实现 300 倍加速的 4D 场景重建与追踪,支持机器人导航、AR 及世界模型构建。

11月19日周三
  1. Google DeepMind82

    Google 发布 Gemini 3:最强多模态模型与全新代理开发平台

    Google 正式发布 Gemini 3 系列,宣布其为目前最智能的模型,具备最先进的推理、多模态理解及代理编码能力。Gemini 3 Pro 在多项基准测试中超越前代,支持 100 万 token 上下文窗口;新增 Deep Think 模式以进一步提升复杂问题解决能力。

    推荐理由:原文宣布 Gemini 3 系列发布,提供最新推理与多模态能力,并开放 Google Antigravity 代理开发平台及 Deep Think 模式。

11月17日周一
  1. Google DeepMind73

    Google DeepMind 发布 WeatherNext 2:生成速度提升 8 倍、分辨率达小时级的全球天气预测模型

    Google DeepMind 推出 WeatherNext 2,这是其最先进的天气预测模型,能将预报生成速度提升 8 倍且分辨率达到 1 小时。该模型基于功能生成网络(FGN)架构,能从单一输入预测数百种可能的气象结果,在 99.9% 的变量和 0-15 天的时效上超越上一代 WeatherNext 模型。

    推荐理由:DeepMind 推出 WeatherNext 2,生成速度提升 8 倍且分辨率达小时级,支持数百种场景预测并已在 Earth Engine 开放数据。

11月13日周四
  1. Google DeepMind70

    SIMA 2:能在虚拟 3D 世界中与你互动、思考并学习的智能体

    DeepMind 发布 SIMA 2,这是继去年版本后的重大升级,通过嵌入 Gemini 模型赋予其推理与对话能力,使其从指令跟随者转变为可协作的虚拟游戏伙伴。

    推荐理由:DeepMind 推出 SIMA 2,通过集成 Gemini 推理能力实现目标规划与自我改进,并在 Genie 3 生成的虚拟世界中验证了泛化性。

11月12日周三
  1. World Labs · Research & Insights78

    World Labs 发布多模态世界模型 Marble,支持从图文视频构建可编辑的 3D 世界

    World Labs 正式发布多模态生成式世界模型 Marble,使其从早期测试转向通用可用。该模型支持通过文本、图像、视频或粗略 3D 布局创建 3D 世界,并允许交互式编辑、扩展和组合场景。

    推荐理由:World Labs 正式发布多模态生成式世界模型 Marble,支持从文本、图像及视频构建 3D 场景,并新增编辑、扩展与导出功能。

10月16日周四
  1. World Labs · Research & Insights78

    RTFM:一款可实时交互的生成式世界模型发布

    World Labs 发布了名为 RTFM(Real-Time Frame Model)的实时生成式世界模型研究预览版。该模型能在单张 H100 GPU 上以交互帧率运行,支持对生成的 3D 场景和真实地点进行持久化探索。

    推荐理由:World Labs 发布实时生成式世界模型 RTFM,单卡 H100 即可实现持久化交互与复杂光影渲染。

9月24日周三
  1. Skild AI · Research Blog70

    Skild AI:构建全形态机器人脑以应对不可预测的物理世界

    Skild AI 团队认为现有机器人控制器因过度拟合特定机体而缺乏泛化能力,提出训练一个能控制百万种不同形态机器人的“全形态(omni-bodied)”大脑。实验展示了该模型在零样本条件下对断肢、关节锁定、轮子卡死及加装高跷等极端形态变化的快速适应与恢复能力,利用上下文学习机制从失败中迭代成功。团队认为这种基于适应而非记忆的策略是通往物理世界可靠通用人工智能的关键路径。

    推荐理由:Skild AI 提出通过训练控制百万级不同形态机器人来构建泛化脑,展示零样本适应与上下文学习在物理任务中的潜力。

9月18日周四
  1. Figure · News78

    Figure 发布 Helix 大模型:基于互联网规模数据实现人类视频到机器人的零样本迁移

    Figure 宣布 Helix VLA 模型完成基于 Brookfield 海量人类视频的预训练,实现从人类视频到机器人导航的零样本直接迁移。该模型仅使用第一人称视角的人类视频进行训练,无需任何机器人演示即可让机器人理解自然语言指令并在杂乱环境中自主导航。Helix 统一网络同时输出灵巧操作与导航指令,标志着具身智能领域在数据规模与跨模态转移上的重大突破。

    推荐理由:Figure 宣布 Helix VLA 模型完成基于 Brookfield 海量人类视频的预训练,实现从人类视频到机器人导航的零样本直接迁移。

8月6日周三
  1. Skild AI · Research Blog77

    Skild AI 发布 Skild Brain:单策略实现任意场景的端到端移动

    Skild AI 发布 Skild Brain 的低层控制能力更新,该模型完全由在线视觉和本体感知驱动,直接从原始图像和关节反馈输出底层电机指令。无需预规划、建图或手动切换行为,机器人即可在从未见过的环境中(如城市公园、街道、消防梯)无缝行走、爬楼梯和跨越障碍。

    推荐理由:Skild AI 发布 Skild Brain 低层控制模块,实现仅凭在线视觉与本体感知的端到端移动,无需预规划即可跨越障碍。

6月17日周二
  1. Generalist · Research Blog65

    Generalist 发布端到端机器人操控能力预览

    Generalist 分享其通用机器人部署的早期成果,展示了由端到端深度神经网络控制的实时自主操控能力。模型在多种机械臂(如 Flexiv Rizon 4、UR5)和环境中实现了精细操作、双手动作及跨场景泛化。演示任务包括分拣紧固件、折叠盒子并收纳链条、将螺丝倒回玻璃罐以及拆解乐高积木,验证了系统在复杂物理交互中的鲁棒性与精确性。

    推荐理由:Generalist 展示端到端神经网络的实时自主操控能力,涵盖精细控制、双手动作及跨机械臂泛化。

6月7日周六
  1. Figure · News72

    Figure 推出 Helix 物流机器人系统:具备视觉记忆与力感知能力

    Figure 宣布其 Helix 人形机器人系统在物流场景下性能显著提升,处理速度从约 5.0 秒降至 4.05 秒/件,条码扫描成功率达 95%。系统新增短期视觉记忆模块以消除冗余动作,整合状态历史与力反馈输入以提升控制鲁棒性,并能自适应处理软包、信封等变形物体。通过增加演示数据量及架构优化,Helix 已接近人类操作水平,且可通过少量演示快速适应如人机交接等新任务。

    推荐理由:Figure 宣布 Helix 物流系统性能跃升,通过视觉记忆、状态历史与力反馈等架构改进及数据扩展,实现接近人类水平的速度与精度。

4月24日周四
  1. NVIDIA Isaac Lab · Releases71

    Isaac Lab v2.1.0 发布:新增 Apple Vision Pro 遥操作与 HOVER 人形机器人仿真部署

    NVIDIA Isaac Lab 发布 v2.1.0 版本,正式支持使用 Apple Vision Pro 进行双手遥操作以采集灵巧手部数据,并集成 Isaac Lab Mimic 实现模仿学习工作流。

    推荐理由:NVIDIA Isaac Lab v2.1.0 新增 Apple Vision Pro 遥操作与 HOVER 人形机器人仿真部署支持,并开放 USD 属性随机化等新功能。

1月31日周五
  1. NVIDIA Isaac Lab · Releases73

    NVIDIA Isaac Lab 发布 v2.0.0 版本及 Isaac Sim 4.5

    NVIDIA 发布 Isaac Lab 2.0.0 和 Isaac Sim 4.5,新增 MimicGen 模仿学习扩展以自动生成轨迹、AMP 人形机器人任务(行走/跑步/舞蹈)以及 Franka 堆叠环境。

    推荐理由:Isaac Lab 2.0 新增 MimicGen 模仿学习扩展与 AMP 任务,并重构 Isaac Sim 4.5 接口以支持多相机渲染与更高性能。