Google DeepMind 发布 Gemini 3、Gemma 3 及 Veo 3.1 等模型,在推理与多模态领域取得突破
Google DeepMind 回顾 2025 年进展,推出 Gemini 3 Pro 和 Gemini 3 Flash 模型。Gemini 3 Pro 在 Humanity's Last Exam 基准测试中表现优异,数学任务 MathArena Apex 达到 23.4% 准确率;Gemini 3 Flash 则以更低延迟和成本提供类 Pro 级能力。
Google DeepMind 回顾 2025 年进展,推出 Gemini 3 Pro 和 Gemini 3 Flash 模型。Gemini 3 Pro 在 Humanity's Last Exam 基准测试中表现优异,数学任务 MathArena Apex 达到 23.4% 准确率;Gemini 3 Flash 则以更低延迟和成本提供类 Pro 级能力。
Google DeepMind 今日发布 Gemini 3 Flash,该模型将 Gemini 3 Pro 级的推理能力与 Flash 系列的低延迟、高效率相结合,旨在让每个人都能更快地进行学习、构建和规划。
Google DeepMind 宣布即日起向全部 17 个 DOE 国家实验室提供加速访问权限,部署基于 Gemini 的"AI co-scientist"多智能体虚拟协作系统。
Figure 宣布 Figure 02 机器人在宝马斯巴坦堡工厂完成部署,在 10 个月内实现全天候运行并贡献了超过 3 万辆 X3 车辆的生产。该机器人完成了包括钣金装载在内的关键任务,累计运行超 1250 小时、执行超 120 万步动作。
推荐理由:Figure 02 在宝马工厂完成量产部署并贡献了 3 万辆 X3 生产数据,其硬件可靠性与机械臂设计经验已直接应用于 Figure 03 的架构重构。
Google DeepMind 推出 Gemini 3 Pro,凭借顶尖推理能力在多项基准测试中超越前代版本。该模型在 Terminal-Bench 2.0 工具使用任务得分 54.2%,WebDev Arena 排行榜得分为 1487 Elo,支持通过 Google Antigravity 平台进行自主开发工作流。
Google 正式发布 Gemini 3 系列,宣布其为目前最智能的模型,具备最先进的推理、多模态理解及代理编码能力。Gemini 3 Pro 在多项基准测试中超越前代,支持 100 万 token 上下文窗口;新增 Deep Think 模式以进一步提升复杂问题解决能力。
推荐理由:原文宣布 Gemini 3 系列发布,提供最新推理与多模态能力,并开放 Google Antigravity 代理开发平台及 Deep Think 模式。
Google DeepMind 推出 WeatherNext 2,这是其最先进的天气预测模型,能将预报生成速度提升 8 倍且分辨率达到 1 小时。该模型基于功能生成网络(FGN)架构,能从单一输入预测数百种可能的气象结果,在 99.9% 的变量和 0-15 天的时效上超越上一代 WeatherNext 模型。
推荐理由:DeepMind 推出 WeatherNext 2,生成速度提升 8 倍且分辨率达小时级,支持数百种场景预测并已在 Earth Engine 开放数据。
DeepMind 发布 SIMA 2,这是继去年版本后的重大升级,通过嵌入 Gemini 模型赋予其推理与对话能力,使其从指令跟随者转变为可协作的虚拟游戏伙伴。
推荐理由:DeepMind 推出 SIMA 2,通过集成 Gemini 推理能力实现目标规划与自我改进,并在 Genie 3 生成的虚拟世界中验证了泛化性。
World Labs 正式发布多模态生成式世界模型 Marble,使其从早期测试转向通用可用。该模型支持通过文本、图像、视频或粗略 3D 布局创建 3D 世界,并允许交互式编辑、扩展和组合场景。
推荐理由:World Labs 正式发布多模态生成式世界模型 Marble,支持从文本、图像及视频构建 3D 场景,并新增编辑、扩展与导出功能。
Google DeepMind 发布了用于预测森林砍伐风险的基准数据集,该模型基于纯卫星输入和视觉 Transformer 架构,分辨率达 30 米。同时推出了新的 AI 驱动方法以生成地球物种分布图,并更新了生物声学分类器 Perch 2.0 作为基础模型供生态学家适配使用。
Generalist 发布了 GEN-0,这是一类专为高保真原始物理交互设计的具身基础模型。该模型在超过 27 万小时的真实世界操作数据上预训练,观察到当参数量达到 7B 时出现智能相变,小模型发生僵化而大模型持续改进。GEN-0 具备和谐推理、跨载体适配及不再受限于数据的特性,其缩放定律表明更多预训练数据和算力可一致地提升下游任务性能。
推荐理由:原文报告了 GEN-0 在真实物理交互数据上的规模效应与相变现象,为机器人基础模型的训练架构提供了新范式。
World Labs 发布了名为 RTFM(Real-Time Frame Model)的实时生成式世界模型研究预览版。该模型能在单张 H100 GPU 上以交互帧率运行,支持对生成的 3D 场景和真实地点进行持久化探索。
推荐理由:World Labs 发布实时生成式世界模型 RTFM,单卡 H100 即可实现持久化交互与复杂光影渲染。
Figure 正式发布第三代人形机器人 Figure 03,旨在打造通用型机器人以服务于家庭与大规模商业场景。硬件层面,该机型配备全新设计的感官套件和手部系统,支持 Helix 视觉语言动作 AI;相机架构帧率翻倍、延迟降低四分之一且视场角扩大 60%,手掌集成嵌入式广角低延迟相机以实现遮挡下的持续感知。
推荐理由:Figure 03 发布新一代硬件与 Helix AI,通过高帧率视觉、嵌入式手掌相机及自研触觉传感器提升感知与控制能力。
Generalist 展示了其模型在单样本组装任务中的能力,能够观察人类构建的小型结构并复制它。该模型实现了从像素输入到每秒 100 次动作输出的端到端控制,无需特定工程或自定义指令。测试仅在四色、三块 2x4 乐高积木的 99,840 种组合上验证了泛化边界,体现了对物理力的精细理解与序列推理能力。
推荐理由:Generalist 展示首个端到端视觉运动控制搭建乐高积木的能力,验证了从像素到高频动作的泛化潜力。
Figure 宣布 Helix VLA 模型完成基于 Brookfield 海量人类视频的预训练,实现从人类视频到机器人导航的零样本直接迁移。该模型仅使用第一人称视角的人类视频进行训练,无需任何机器人演示即可让机器人理解自然语言指令并在杂乱环境中自主导航。Helix 统一网络同时输出灵巧操作与导航指令,标志着具身智能领域在数据规模与跨模态转移上的重大突破。
推荐理由:Figure 宣布 Helix VLA 模型完成基于 Brookfield 海量人类视频的预训练,实现从人类视频到机器人导航的零样本直接迁移。
World Labs 发布 Marble 模型预览版,支持通过图像或文本提示生成长时间无限制、几何一致且风格多样的 3D 世界。该模型专注于构建大型环境而非孤立物体,并开放开源渲染库 Spark 以集成 Gaussian splats 到 Three.js,支持在桌面和 VR 设备上高效运行。
推荐理由:World Labs 推出 Marble 模型,支持生成持久、可导航且风格一致的 3D 世界,并提供开源渲染库 Spark。
Figure 发布了其视觉语言动作(VLA)模型 Helix,展示了该模型仅需新增数据即可适应从折叠衣物到装载洗碗机的不同现实挑战。Helix 能够处理分离堆叠盘子、单手抓取玻璃杯并配合另一只手调整姿态等复杂操作,且无需特殊工程定制或新算法,体现了通用架构的可扩展学习能力。
推荐理由:Figure 展示了其 VLA 模型 Helix 在无需新算法的情况下,仅凭新数据即可掌握洗碗机装载等全新任务。
Figure 的视觉语言动作(VLA)模型 Helix 展示了在物流场景下完全自主的包裹重定向能力后,现将其应用于更具挑战性的衣物折叠任务。这是人形机器人首次利用多指手实现端到端神经网络驱动的完全自主折叠。Helix 沿用解决物流任务的同一架构与超参数,仅通过更换数据集即可适应毛巾等可变形的物体,无需显式构建物体级表示。此外,模型还学会了与人保持眼神接触、引导视线及做出手势。
推荐理由:Figure 开源 Helix VLA 架构,首次实现人形机器人端到端自主折叠衣物,验证了同一模型从物流到家务任务的泛化能力。
Skild AI 发布 Skild Brain 的低层控制能力更新,该模型完全由在线视觉和本体感知驱动,直接从原始图像和关节反馈输出底层电机指令。无需预规划、建图或手动切换行为,机器人即可在从未见过的环境中(如城市公园、街道、消防梯)无缝行走、爬楼梯和跨越障碍。
推荐理由:Skild AI 发布 Skild Brain 低层控制模块,实现仅凭在线视觉与本体感知的端到端移动,无需预规划即可跨越障碍。
Skild AI 发布 Omni-bodied Brain,构建首个不受限于特定机器人类型或任务的通用“全身体”大脑。该模型通过大规模仿真与互联网视频数据预训练,结合少量真实世界数据进行后训练蒸馏,实现了在四足、人形及桌面机械臂等多形态间的泛化能力。Skild AI 团队拥有十余年研究背景,曾在 Anduril、Tesla、Nvidia 等公司构建过生产就绪系统。
Generalist 分享其通用机器人部署的早期成果,展示了由端到端深度神经网络控制的实时自主操控能力。模型在多种机械臂(如 Flexiv Rizon 4、UR5)和环境中实现了精细操作、双手动作及跨场景泛化。演示任务包括分拣紧固件、折叠盒子并收纳链条、将螺丝倒回玻璃罐以及拆解乐高积木,验证了系统在复杂物理交互中的鲁棒性与精确性。
推荐理由:Generalist 展示端到端神经网络的实时自主操控能力,涵盖精细控制、双手动作及跨机械臂泛化。
Figure 宣布其 Helix 人形机器人系统在物流场景下性能显著提升,处理速度从约 5.0 秒降至 4.05 秒/件,条码扫描成功率达 95%。系统新增短期视觉记忆模块以消除冗余动作,整合状态历史与力反馈输入以提升控制鲁棒性,并能自适应处理软包、信封等变形物体。通过增加演示数据量及架构优化,Helix 已接近人类操作水平,且可通过少量演示快速适应如人机交接等新任务。
推荐理由:Figure 宣布 Helix 物流系统性能跃升,通过视觉记忆、状态历史与力反馈等架构改进及数据扩展,实现接近人类水平的速度与精度。
Hugging Face 团队发布 SmolVLA-450M,这是一个可在消费级硬件运行的开源视觉语言动作(VLA)模型。该模型仅使用 LeRobot 社区共享的公开数据集进行预训练,在仿真和真实世界任务中表现优于大型专有模型及 ACT 等基线。架构采用流匹配 Transformer 与异步推理栈,支持 CPU 运行或单卡训练,显著降低研究门槛。
推荐理由:SmolVLA 是首个基于社区数据训练的紧凑型 VLA 模型,在消费级硬件上实现异步推理与高性能。
Figure 正式介绍其端到端神经网络控制器,该模型利用强化学习在仿真中训练 Figure 02 人形机器人进行类人步行。通过在仿真中结合域随机化与高频力矩反馈,策略实现零样本迁移至真实硬件,无需额外微调即可在整支机队上重复运行。材料展示了仿真加速开发周期并支持快速迭代的能力,但未报告真实场景的部署结果或具体性能指标。
推荐理由:Figure 02 机器人推出纯强化学习训练的自然行走控制器,通过高保真仿真与域随机化实现零样本迁移至真实硬件。
Hugging Face 与 Yaak 合作发布 Learning to Drive (L2D),这是全球最大的开源自动驾驶数据集,包含德国 30 个城市、60 辆电动车在 3 年内采集的 5000+ 小时多模态数据(90+ TB)。
推荐理由:Yaak 与 LeRobot 合作推出全球最大开源自动驾驶数据集 L2D,包含德国 30 城 5000+ 小时多模态数据及专家/学员双策略。
NVIDIA 发布 Isaac Lab 2.0.0 和 Isaac Sim 4.5,新增 MimicGen 模仿学习扩展以自动生成轨迹、AMP 人形机器人任务(行走/跑步/舞蹈)以及 Franka 堆叠环境。
推荐理由:Isaac Lab 2.0 新增 MimicGen 模仿学习扩展与 AMP 任务,并重构 Isaac Sim 4.5 接口以支持多相机渲染与更高性能。
Kodiak AI 将视觉语言模型(VLM)集成至其自动驾驶系统,利用文本知识与图像结合以增强对紧急车辆等长尾边缘案例的理解。该技术通过零样本分类与多模态解码器实现类人驾驶行为,使卡车能在未见过的复杂场景中做出精准决策并规划路线。此创新方法无需显式训练即可检测罕见事件(如高速警车),显著提升了感知栈的鲁棒性与适应性。