Gemini 3.7/3.6/3.5 Flash 发布代理式视频理解功能
Google DeepMind 今日在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 模型中推出代理式视频理解(agentic video understanding)功能。
推荐理由:DeepMind 在 Gemini Flash 系列中引入代理式视频理解,通过动态检索与多模态分析显著降低长视频处理成本并提升精度。
Google DeepMind 今日在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 模型中推出代理式视频理解(agentic video understanding)功能。
推荐理由:DeepMind 在 Gemini Flash 系列中引入代理式视频理解,通过动态检索与多模态分析显著降低长视频处理成本并提升精度。
World Labs 发布下一代世界模型 Atlas,这是一个原生操作文本、图像、视频和 3D 数据的 Omni 多模态自回归扩散 Transformer。Atlas 具备相机控制生成(从单图或多图生成任意视角视频)、稀疏视图空间重建(从少量输入图像恢复 2D/3D 几何)以及时空仿真能力,可支持机器人 Real-to-Sim 工作流。
推荐理由:World Labs 推出原生支持文本、图像、视频与 3D 的 Omni 模型 Atlas,具备相机控制生成、稀疏视图重建与时空仿真能力。
Google DeepMind 发布 Gemini Omni 1.1 Flash,支持分析最多 10 秒上下文以生成累计长达 40 秒的连续视频,并实现首尾帧插值与最高 4K 分辨率输出。360p 预览版推理速度较标准 720p 快约 60%、成本降低三分之一,适用于快速原型迭代。该模型今日起通过 Gemini API 在 Google AI Studio 及全球订阅者中开放使用。
Figure 正式推出 Index,这是全球最大的多样化机器人训练数据集,数据源自全球超过 108 个国家的创作者上传的真实任务视频。该数据集包含 373 个独特任务、1,146 个被操作物体和 116 种环境,涵盖从家务到工业场景的长尾分布。Figure 计划在未来 12 个月投入超过 10 亿美元用于数据与计算,以支持其 Helix AI 栈的训练与泛化能力。
推荐理由:Figure 正式发布 Index 数据集,通过全球创作者网络收集了海量真实物理交互视频,旨在解决机器人泛化难题并支撑 Helix 栈训练。
NVIDIA AVO 系统在 ARC-AGI-3 基准测试中实现 100% 通过率,证明其作为长周期自主智能体架构的前沿水平。该成果表明,除前沿语言模型外,负责上下文管理、工具调用及故障恢复的代理系统(harness)对确保模型在扩展任务中的可靠运行至关重要。
Google DeepMind 发布 SIMA 2 通用游戏智能体,依托 Gemini 模型在无 API 访问下于 EVE Online、No Man's Sky 等复杂 3D 环境中实现类人游玩与实时对话。
Kodiak AI 与其客户 Atlas Energy Solutions 合作发布了可在 Permian Basin 运营的可牵引三挂拖车(triples)的自动驾驶货运技术,这是该公司的行业首创。
推荐理由:Kodiak 发布能牵引三挂拖车的自动驾驶技术,通过感知、规划与控制系统的升级解决长车距与动力学挑战。
NVIDIA 发布 Cosmos 3 Edge,这是 Cosmos 3 家族中首个专为端侧机器人控制设计的 4B 参数全模态模型(含 2B NVIDIA Nemotron 推理器)。该模型旨在解决世界模型因体积过大难以部署在车载或机器人本地计算硬件的问题,使策略能适配传感器、环境与任务。
推荐理由:NVIDIA 推出 Cosmos 3 Edge,将 4B 参数世界模型压缩至端侧硬件,解决物理交互学习模型的部署难题。
Generalist 发布了最新机器人基础模型 GEN-1.5,该模型在预训练后无需微调即可通过单样本演示(物理提示)即时学习新任务,平均成功率达 59%,经少量梯度步优化后可提升至 83%。模型具备零样本仿真到现实迁移、组合泛化及即兴工具使用能力,支持从人类手部动作直接模仿机器人操作。
推荐理由:该机器人基础模型 GEN-1.5 在预训练后无需微调即可通过单样本演示学习新任务,并具备零样本仿真到现实迁移能力。
Skild AI 发布旗舰机器人基础模型 S1,该模型专为上下文学习(ICL)构建,无需微调即可仅凭一段视频演示执行长达 10 分钟的未见任务。实验显示,在未见任务上单段演示的 ICL 成功率达 66%,显著优于传统语言提示 VLA;模型具备抗干扰、错误恢复及常识推理能力,且部署时间从数小时缩短至分钟级。
推荐理由:Skild 推出 S1 机器人基础模型,支持通过视频演示实现长时程未见任务的零样本执行与策略修正。
Ai2(Allen Institute for AI)推出 MolmoMotion,该模型基于 Molmo 系列扩展能力,利用自然语言指令在三维空间中预测物体后续的点轨迹。此次 OpenCV Live! 演示展示了模型如何从场景描述进阶至动态行为预测,标志着开源多模态模型在具身智能任务中的新突破。
Google DeepMind 发布多语言手语转文本(SL2T)模型,首次将其集成至 Pixel 11 的 Gboard 和 Live Transcribe 应用中,支持美国手语(ASL)到英语的实时翻译。
推荐理由:DeepMind 推出首个消费级手语转文本模型 SL2T,集成于 Pixel 11 Gboard 与 Live Transcribe,支持 ASL 到英语翻译。
NVIDIA Nemotron 3.5 Lightning 是一款开源的 30B MoE 模型,拥有 3B 活跃参数,专为长运行 AI 智能体的高频工具调用与结果验证等执行层设计。该模型旨在解决在每一步执行都使用前沿推理模型所带来的高成本与延迟问题,通过轻量化架构提升持续运行智能体的效率。
Meta 推出开源稠密模型 Muse Glimmer,该 30B 参数模型拥有超 12 万上下文窗口,专为本地 AI 智能体工作流设计。其在单张 GPU 上可实现每秒处理 2 万个 token 的推理速度,支持在 NVIDIA 边缘、桌面及工作站平台运行,使智能体能持续在线地本地处理数据并执行复杂任务。
NVIDIA 发布 Cosmos 3 开放世界模型系列,该系列包含 Super、Nano 和 Edge 三个版本,分别针对高保真建模、高效推理及端侧部署优化。模型基于 OpenMDW 1.1 许可,支持在自有数据与硬件上进行后训练,旨在解决物理 AI 中罕见事件复现难与环境多样性不足的问题。
推荐理由:NVIDIA Cosmos 3 以开放权重形式发布,提供从视觉推理到世界生成的统一架构,支持团队在自有硬件上进行后训练与专用化。
针对机器人策略难以泛化的挑战,NVIDIA 提出超越视觉语言动作模型(VLA)的世界动作模型架构。该模型要求策略理解任务背后的物理规律而非单纯模仿演示,以应对物体形状、位置或光照变化等条件改变。此研究旨在解决训练场景外泛化难题,为具身智能提供新的技术路径。
NVIDIA Alpamayo 2 Super 作为 Alpamayo 家族最新成员,基于 Cosmos 3 Super Reasoner 并通过强化学习后训练,现已通过 OpenMDW‑1.1 许可面向商业使用。
推荐理由:NVIDIA Alpamayo 2 Super 以 OpenMDW‑1.1 许可面向商业部署,在多任务推理与仿真闭环工作流中提供前沿级能力。
NVIDIA 发布了开源的 340 亿参数推理视觉模型 Alpamayo 2 Super。该模型旨在解决自动驾驶开发中轨迹生成、高层意图预测、场景理解及数据标注依赖独立模型导致难以对比输出和复用表征的问题,提供统一的推理能力以支持相关工作流。
推荐理由:NVIDIA Alpamayo 2 Super 作为开源推理视觉模型,旨在统一轨迹生成、意图预测与数据标注任务,解决传统开发流程中多模型割裂导致的行为难以对比与复用的问题。
随着智能体与长上下文任务普及,注意力机制成为推理耗时主导因素。NVIDIA 主张围绕 GPU 执行特性重塑模型架构,通过 AI 模型协同设计优化注意力效率。该策略旨在解决长序列下注意力成本占比过高的问题,提升推理性能。
Google DeepMind 正式发布 Gemini Robotics ER 2,作为新一代具身推理模型,它支持通过连续视频流进行进度分类与时刻定位(精度达 91.3%),实现毫秒级低延迟的任务编排。该模型原生支持多机器人协作、工具调用及实时空间感知,已在仿真环境及波士顿动力 Spot 等真实硬件上完成演示验证,现通过 Gemini API 和 Google AI Studio 向开发者开放。
推荐理由:DeepMind 发布 Gemini Robotics ER 2,通过视频理解与任务编排提升机器人自主性,并开放 API 接口。
Google DeepMind 正式发布 Gemini Robotics 2,旨在为下一代自适应机器人提供核心智能层。该系列包含三个模型:最先进的全身体视觉语言动作模型(VLA)支持从脚部到指尖的复杂操作;具身推理模型(ER)负责多步任务规划与人类交互;端侧优化模型(On-Device)可在数小时内适配全新机器人本体。
推荐理由:DeepMind 推出 Gemini Robotics 2,提供全身体控制、灵巧操作及多机协作能力,并开放 On-Device 端侧适配与 ASIMOV-Agentic 安全基准。
World Labs 宣布联合 SceniX 推出 R2S2R 引擎,将真实任务转化为高保真仿真世界以支持机器人策略训练与评估。该引擎实现了从真实到仿真(Real-to-Sim)的转换及从仿真到真实(Sim-to-Real)的策略迁移,允许在零真实数据下训练策略并直接部署到多种物理机器人上。
推荐理由:World Labs 联合 SceniX 推出 R2S2R 引擎,实现零真实数据训练与闭环评估。
NVIDIA 推出 Prime Intellect Lab,使开发者能在数分钟内完成通用模型 Nemotron 3 Nano 针对特定用例、领域和语言的定制。该方案旨在解决传统定制所需的专用基础设施、技术专长及 GPU 资源门槛问题。
Generalist 发布最新具身基础模型 GEN-1,该模型在超过五十万小时真实交互数据上预训练,覆盖从五指人手到专用工具等九千多种末端执行器变体。研究通过任务向量分析量化了不同工具的权重更新幅度(2.5%至11.4%),并验证了模型能在中任务切换机械手时即时适应新策略。该工作旨在构建不依赖特定硬件形态的通用物理智能,使机器人能像工具箱一样灵活组合工具完成任务。
推荐理由:GEN-1 基础模型支持多种末端执行器,通过混合数据训练实现跨工具策略迁移与中任务切换适应。
NVIDIA 发布 Isaac for Healthcare 中的开源 GPU 加速医疗物理仿真框架,旨在解决医疗机器人训练数据稀缺瓶颈。该框架结合经典物理与 NVIDIA Cosmos-H Dreams 生成式 AI 物理模拟能力,支持解剖结构、柔性器械(如导管)及传感器输入的并行仿真,可将机器人训练环境从数千个并行运行并大幅缩短训练时间。
推荐理由:NVIDIA Isaac for Healthcare 新增开源 GPU 加速医疗物理仿真框架,支持解剖与器械交互建模及生成式 AI 物理模拟。
NVIDIA Rubin GPU 架构旨在驱动持续运行的 AI 工厂,支持具备推理、规划及工具使用能力的智能体工作流。该架构不再局限于单一提示词或离散模型训练,而是致力于在广阔上下文中执行复杂的跨步骤任务。
Google DeepMind 正式发布 Gemini 3.6 Flash、3.5 Flash-Lite 和 3.5 Flash Cyber 三款新模型。
推荐理由:DeepMind 发布 Gemini 3.6 Flash、3.5 Flash-Lite 及 Cyber 版本,提供具体性能指标与定价以支持规模化 AI Agent 构建。
文远知行正式发布物理 AI 认知基础模型 WeRide WITT(World Intelligence Toward Truth),该模型基于原子物理事实(APFs)框架,通过提取、推理、验证和整理可信事实来构建对物理世界的理解。
推荐理由:文远知行发布基于原子物理事实的认知基础模型 WITT,通过提取、推理与验证可信事实来降低幻觉并提升长尾场景挖掘效率。
NVIDIA 与 Hugging Face 合作将 NVIDIA Isaac GR00T 1.7 开源推理视觉语言动作(VLA)模型及 Isaac Teleop 框架集成至 LeRobot,并计划即将推出物理 AI 前沿模型 Cosmos 3。此次整合旨在通过共享模型、数据和工作流,降低开发者在机器人基础模型训练、评估与部署上的资源门槛,支持端到端的人形机器人开发流程。
推荐理由:NVIDIA 与 Hugging Face 将 Isaac GR00T 1.7、Isaac Teleop 及即将推出的 Cosmos 3 集成至 LeRobot,为具身智能开发者提供标准化的端到端开发路径。
Orbbec 与蚂蚁集团 Robbyant 深化合作,Robbyant 发布下一代空间感知模型 LingBot-Depth 2.0,该模型已通过 Orbbec 深度视觉实验室认证。
推荐理由:Orbbec 与蚂蚁集团 Robbyant 联合发布经认证的 LingBot-Depth 2.0 深度补全模型,结合 Gemini 330 相机硬件解决透明物体等复杂场景感知难题。
Google DeepMind 发布 Nano Banana 2 Lite(gemini-3.1-flash-lite-image)和 Gemini Omni Flash(gemini-omni-flash-preview)。
推荐理由:DeepMind 发布 Nano Banana 2 Lite 与 Gemini Omni Flash,提供高速图像生成与视频编辑能力,支持开发者构建端到端多媒体工作流。
Figure 宣布 Figure 03 机器人抵达宝马集团斯帕坦堡工厂 Hall 52,接替上一代机型开展更具挑战性的“排序”(sequencing)任务。该任务要求机器人在非标准化、位置随机的零件中抓取并放入指定槽位,同时需结合全身移动与精细操作。
推荐理由:Figure 03 在宝马工厂演示了结合全身控制与视觉策略的排序任务,验证了通用物理 AI 处理复杂物流场景的能力。
Firefly Aerospace 的 Ocula 月球成像服务将在其 Blue Ghost Mission 2(预计于 2026 年底发射)中首次搭载 NVIDIA Jetson 边缘 AI 平台在月球轨道上运行。
推荐理由:NVIDIA Jetson 平台首次在月球轨道运行,实现星上 AI 推理以替代传统数据下传。
文远知行宣布其专有世界模型 WeRide GENESIS 在 2026 AI Breakthrough Awards 上获颁“年度整体生成式 AI 解决方案”,此前该模型刚在 ATTI 奖项中赢得仿真创新奖。
推荐理由:WeRide GENESIS 凭借生成式 AI 与物理仿真能力获两项大奖,验证了其在加速自动驾驶开发、训练及部署方面的价值。
Google DeepMind 宣布 Gemini 3.5 Flash 模型原生集成了电脑使用功能,取代了此前独立的专用模型版本,使开发者能利用该模型构建能在浏览器、移动和桌面环境中感知、推理并执行操作的智能体。材料指出该功能旨在提升长周期和企业级自动化任务(如持续软件测试)的性能,并提供了针对提示注入风险的对抗训练及可选的企业安全防护系统。
推荐理由:原文宣布 Gemini 3.5 Flash 原生集成电脑使用能力,开发者可借此构建跨平台智能体以执行长周期自动化任务。
Kodiak 宣布其核心基础模型 GigaFusionNet 已商业化部署于 28 辆无人驾驶卡车,该系统通过多阶段训练流程(数据策展、预训练、微调)结合自标签化技术构建持续进化的 AI Flywheel。材料详细阐述了利用 NVIDIA HGX H100 集群进行大规模物理 AI 训练及向车载平台蒸馏模型的技术路径,未提及新的硬件发布或事故案例。
推荐理由:Kodiak 发布 GigaFusionNet 大模型与 AI Flywheel 训练闭环,结合 Lambda 算力基础设施实现端到端自动驾驶模型的规模化部署。
Google DeepMind 正式发布 Gemma 4 12B,这是其首款原生支持音频输入的中尺寸多模态模型。该模型采用无编码器统一架构,视觉和音频信号直接流入 LLM 主干,在标准基准测试中表现接近 26B MoE 版本但显存占用减半,仅需 16GB 显存即可在消费级笔记本本地运行。
推荐理由:Gemma 4 12B 采用无编码器统一架构,原生支持音频输入且仅需 16GB 显存即可在本地笔记本运行。
Frontier Lab 宣布获得包括 Radical Ventures(领投)、8VC、Union Square Ventures 等在内的新一轮融资,总融资金额超过 5 亿美元。公司计划利用这笔资金继续推进机器人学习规模化,开发下一代模型并扩展物理数据引擎与计算基础设施。此前 GEN-1 模型已在灵巧操作任务中展现出高可靠性与执行速度提升,新资金将支持其构建跨形态、环境与应用的通用智能系统。
推荐理由:Frontier Lab 宣布获得包括 Radical Ventures、NVIDIA 等在内的新一轮融资,将用于加速机器人基础模型与物理 AGI 的研发及基础设施扩展。
NVIDIA 在 CVPR 发布物理 AI Agent Skills,旨在解决物理 AI 研究中场景重建、合成数据生成及策略评估等碎片化问题。核心包括支持车队数据重建的 Neural Reconstruction 技能、加速 3D 高斯场景生成的 InstantNuRec、用于闭环强化学习的 AlpaGym 框架以及能实时响应策略动作的 Cosmos-Dreams 世界模型。
推荐理由:NVIDIA 在 CVPR 发布物理 AI Agent Skills,提供场景重建、合成数据生成及闭环强化学习工作流工具。
NVIDIA 与微软在 Microsoft Build 2026 上宣布合作推出面向智能体的统一技术栈,包括专为 Windows 打造的 RTX Spark 笔记本和 DGX Station 工作站。
推荐理由:NVIDIA 与微软联合发布 Cosmos 3 等物理 AI 开源模型及 RTX Spark 等新硬件,提供从端侧到云端的统一 Agent 部署栈。