NVIDIA Dynamo 何时使用 Encode-Prefill-Decode 解耦加速多模态模型推理
NVIDIA Dynamo 采用 Encode-prefill-decode (EPD) 解耦技术,将视觉编码器阶段与预填充及解码阶段分离。该技术对图像密集型提示、短至中等长度输出以及量化混合专家(MoE)模型效果最佳,可实现高达 5 倍的推理加速。
NVIDIA Dynamo 采用 Encode-prefill-decode (EPD) 解耦技术,将视觉编码器阶段与预填充及解码阶段分离。该技术对图像密集型提示、短至中等长度输出以及量化混合专家(MoE)模型效果最佳,可实现高达 5 倍的推理加速。
NVIDIA 团队利用 NemoClaw 构建了记忆驱动的“首席幕僚”智能体,通过维护名为"self model"的可读知识层来解决企业工作流中上下文随时间变化的问题。该方案使无需初始上下文的 AI 智能体在贡献前能重构包含消息、决策及义务的历史背景,从而适应动态变化的企业任务环境。
Google DeepMind 发布旗舰级气象模型 WeatherNext 3,该模型直接学习实时卫星观测数据而非数值模式,实现每小时更新与最高 5 公里分辨率,降水预测精度较基线提升显著。系统已集成至 Search、Gemini、Maps 等产品,提供清洁能源变量预测及全球高分辨率气象图,支持研究人员通过 BigQuery 和 Earth Engine 查询数据。
推荐理由:DeepMind 发布 WeatherNext 3,利用实时卫星数据实现每小时更新与 5 公里分辨率,显著提升降水预测精度并支持清洁能源变量。
DeepMind 推出 Gemini 3.8 Flash 及专为可信防御者提供的 3.8 Flash Cyber,后者在内部基准中漏洞发现成功率超 70%,CWE-Bench 补丁 pass@1 达 47.2%。两款模型均基于相同核心智能,通过长周期智能循环迭代优化,在软件工程和关键多步推理领域显著提升性能且成本更低。
Google DeepMind 今日在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 模型中推出代理式视频理解(agentic video understanding)功能。
推荐理由:DeepMind 在 Gemini Flash 系列中引入代理式视频理解,通过动态检索与多模态分析显著降低长视频处理成本并提升精度。
World Labs 发布下一代世界模型 Atlas,这是一个原生操作文本、图像、视频和 3D 数据的 Omni 多模态自回归扩散 Transformer。Atlas 具备相机控制生成(从单图或多图生成任意视角视频)、稀疏视图空间重建(从少量输入图像恢复 2D/3D 几何)以及时空仿真能力,可支持机器人 Real-to-Sim 工作流。
推荐理由:World Labs 推出原生支持文本、图像、视频与 3D 的 Omni 模型 Atlas,具备相机控制生成、稀疏视图重建与时空仿真能力。
Anthropic 发布 Model Hardware Standard (MHS),旨在通过标准化驱动让 AI 智能体统一读取和控制显微镜、机械臂等物理设备,将集成时间从数周缩短至数小时。
Google DeepMind 发布 Gemini Omni 1.1 Flash,支持分析最多 10 秒上下文以生成累计长达 40 秒的连续视频,并实现首尾帧插值与最高 4K 分辨率输出。360p 预览版推理速度较标准 720p 快约 60%、成本降低三分之一,适用于快速原型迭代。该模型今日起通过 Gemini API 在 Google AI Studio 及全球订阅者中开放使用。
Figure 正式推出 Index,这是全球最大的多样化机器人训练数据集,数据源自全球超过 108 个国家的创作者上传的真实任务视频。该数据集包含 373 个独特任务、1,146 个被操作物体和 116 种环境,涵盖从家务到工业场景的长尾分布。Figure 计划在未来 12 个月投入超过 10 亿美元用于数据与计算,以支持其 Helix AI 栈的训练与泛化能力。
推荐理由:Figure 正式发布 Index 数据集,通过全球创作者网络收集了海量真实物理交互视频,旨在解决机器人泛化难题并支撑 Helix 栈训练。
Unitree 发布最新机器人基础模型 GEN-1.5,该模型能在数秒内从单个示例中学习新任务,无需梯度更新或微调。这是首个在大规模上涌现出一样本及少样本物理技能学习能力的模型,展示了广泛的单样本与少样本演示学习能力以及零样本物理泛化能力。尽管任务简单且为短视界,但团队认为这是构建物理世界通用智能的重要一步,同时指出部分“模型自行解决”的任务缺乏相关预训练数据。
NVIDIA AVO 系统在 ARC-AGI-3 基准测试中实现 100% 通过率,证明其作为长周期自主智能体架构的前沿水平。该成果表明,除前沿语言模型外,负责上下文管理、工具调用及故障恢复的代理系统(harness)对确保模型在扩展任务中的可靠运行至关重要。
Google DeepMind 发布 SIMA 2 通用游戏智能体,依托 Gemini 模型在无 API 访问下于 EVE Online、No Man's Sky 等复杂 3D 环境中实现类人游玩与实时对话。
Kodiak AI 与其客户 Atlas Energy Solutions 合作发布了可在 Permian Basin 运营的可牵引三挂拖车(triples)的自动驾驶货运技术,这是该公司的行业首创。
推荐理由:Kodiak 发布能牵引三挂拖车的自动驾驶技术,通过感知、规划与控制系统的升级解决长车距与动力学挑战。
Robotics 初创公司 Generalist AI 发布了 GEN-1.5 模型,该模型能将 3 至 12 秒的演示作为“物理提示词”载入上下文窗口,使机器人在无需训练的情况下执行新任务。
NVIDIA 发布 Cosmos 3 Edge,这是 Cosmos 3 家族中首个专为端侧机器人控制设计的 4B 参数全模态模型(含 2B NVIDIA Nemotron 推理器)。该模型旨在解决世界模型因体积过大难以部署在车载或机器人本地计算硬件的问题,使策略能适配传感器、环境与任务。
推荐理由:NVIDIA 推出 Cosmos 3 Edge,将 4B 参数世界模型压缩至端侧硬件,解决物理交互学习模型的部署难题。
Generalist 发布了最新机器人基础模型 GEN-1.5,该模型在预训练后无需微调即可通过单样本演示(物理提示)即时学习新任务,平均成功率达 59%,经少量梯度步优化后可提升至 83%。模型具备零样本仿真到现实迁移、组合泛化及即兴工具使用能力,支持从人类手部动作直接模仿机器人操作。
推荐理由:该机器人基础模型 GEN-1.5 在预训练后无需微调即可通过单样本演示学习新任务,并具备零样本仿真到现实迁移能力。
Skild AI 发布旗舰机器人基础模型 S1,该模型专为上下文学习(ICL)构建,无需微调即可仅凭一段视频演示执行长达 10 分钟的未见任务。实验显示,在未见任务上单段演示的 ICL 成功率达 66%,显著优于传统语言提示 VLA;模型具备抗干扰、错误恢复及常识推理能力,且部署时间从数小时缩短至分钟级。
推荐理由:Skild 推出 S1 机器人基础模型,支持通过视频演示实现长时程未见任务的零样本执行与策略修正。
Ai2(Allen Institute for AI)推出 MolmoMotion,该模型基于 Molmo 系列扩展能力,利用自然语言指令在三维空间中预测物体后续的点轨迹。此次 OpenCV Live! 演示展示了模型如何从场景描述进阶至动态行为预测,标志着开源多模态模型在具身智能任务中的新突破。
World Labs 发布 R2S2R 引擎,结合生成式世界模型与任务导向仿真,能将一个真实机器人任务转化为数千个受控变体(如改变光照、物体位置及物理属性),用于训练策略泛化。该系统在 ALOHA 等平台上验证了仿真评估与真实硬件测试的一致性,支持在不依赖特定控制模型的情况下复用虚拟世界进行多机器人策略开发与筛选。
Google DeepMind 发布多语言手语转文本(SL2T)模型,首次将其集成至 Pixel 11 的 Gboard 和 Live Transcribe 应用中,支持美国手语(ASL)到英语的实时翻译。
推荐理由:DeepMind 推出首个消费级手语转文本模型 SL2T,集成于 Pixel 11 Gboard 与 Live Transcribe,支持 ASL 到英语翻译。
NVIDIA Nemotron 3.5 Lightning 是一款开源的 30B MoE 模型,拥有 3B 活跃参数,专为长运行 AI 智能体的高频工具调用与结果验证等执行层设计。该模型旨在解决在每一步执行都使用前沿推理模型所带来的高成本与延迟问题,通过轻量化架构提升持续运行智能体的效率。
Meta 推出开源稠密模型 Muse Glimmer,该 30B 参数模型拥有超 12 万上下文窗口,专为本地 AI 智能体工作流设计。其在单张 GPU 上可实现每秒处理 2 万个 token 的推理速度,支持在 NVIDIA 边缘、桌面及工作站平台运行,使智能体能持续在线地本地处理数据并执行复杂任务。
NVIDIA 发布 Cosmos 3 开放世界模型系列,该系列包含 Super、Nano 和 Edge 三个版本,分别针对高保真建模、高效推理及端侧部署优化。模型基于 OpenMDW 1.1 许可,支持在自有数据与硬件上进行后训练,旨在解决物理 AI 中罕见事件复现难与环境多样性不足的问题。
推荐理由:NVIDIA Cosmos 3 以开放权重形式发布,提供从视觉推理到世界生成的统一架构,支持团队在自有硬件上进行后训练与专用化。
针对机器人策略难以泛化的挑战,NVIDIA 提出超越视觉语言动作模型(VLA)的世界动作模型架构。该模型要求策略理解任务背后的物理规律而非单纯模仿演示,以应对物体形状、位置或光照变化等条件改变。此研究旨在解决训练场景外泛化难题,为具身智能提供新的技术路径。
NVIDIA Alpamayo 2 Super 作为 Alpamayo 家族最新成员,基于 Cosmos 3 Super Reasoner 并通过强化学习后训练,现已通过 OpenMDW‑1.1 许可面向商业使用。
推荐理由:NVIDIA Alpamayo 2 Super 以 OpenMDW‑1.1 许可面向商业部署,在多任务推理与仿真闭环工作流中提供前沿级能力。
NVIDIA 发布了开源的 340 亿参数推理视觉模型 Alpamayo 2 Super。该模型旨在解决自动驾驶开发中轨迹生成、高层意图预测、场景理解及数据标注依赖独立模型导致难以对比输出和复用表征的问题,提供统一的推理能力以支持相关工作流。
推荐理由:NVIDIA Alpamayo 2 Super 作为开源推理视觉模型,旨在统一轨迹生成、意图预测与数据标注任务,解决传统开发流程中多模型割裂导致的行为难以对比与复用的问题。
随着智能体与长上下文任务普及,注意力机制成为推理耗时主导因素。NVIDIA 主张围绕 GPU 执行特性重塑模型架构,通过 AI 模型协同设计优化注意力效率。该策略旨在解决长序列下注意力成本占比过高的问题,提升推理性能。
Google DeepMind 推出 Gemini Robotics 2,作为新一代机器人智能层,首次实现全身智能控制、高级灵巧性及多机器人协作。该进展旨在赋能真正适应性的下一代机器人,视频演示涵盖动态阴影表达及四足运动迁移等场景。
Google DeepMind 正式发布 Gemini Robotics ER 2,作为新一代具身推理模型,它支持通过连续视频流进行进度分类与时刻定位(精度达 91.3%),实现毫秒级低延迟的任务编排。该模型原生支持多机器人协作、工具调用及实时空间感知,已在仿真环境及波士顿动力 Spot 等真实硬件上完成演示验证,现通过 Gemini API 和 Google AI Studio 向开发者开放。
推荐理由:DeepMind 发布 Gemini Robotics ER 2,通过视频理解与任务编排提升机器人自主性,并开放 API 接口。
Google DeepMind 正式发布 Gemini Robotics 2,旨在为下一代自适应机器人提供核心智能层。该系列包含三个模型:最先进的全身体视觉语言动作模型(VLA)支持从脚部到指尖的复杂操作;具身推理模型(ER)负责多步任务规划与人类交互;端侧优化模型(On-Device)可在数小时内适配全新机器人本体。
推荐理由:DeepMind 推出 Gemini Robotics 2,提供全身体控制、灵巧操作及多机协作能力,并开放 On-Device 端侧适配与 ASIMOV-Agentic 安全基准。
World Labs 宣布联合 SceniX 推出 R2S2R 引擎,将真实任务转化为高保真仿真世界以支持机器人策略训练与评估。该引擎实现了从真实到仿真(Real-to-Sim)的转换及从仿真到真实(Sim-to-Real)的策略迁移,允许在零真实数据下训练策略并直接部署到多种物理机器人上。
推荐理由:World Labs 联合 SceniX 推出 R2S2R 引擎,实现零真实数据训练与闭环评估。
NVIDIA 推出 Prime Intellect Lab,使开发者能在数分钟内完成通用模型 Nemotron 3 Nano 针对特定用例、领域和语言的定制。该方案旨在解决传统定制所需的专用基础设施、技术专长及 GPU 资源门槛问题。
Generalist 发布最新具身基础模型 GEN-1,该模型在超过五十万小时真实交互数据上预训练,覆盖从五指人手到专用工具等九千多种末端执行器变体。研究通过任务向量分析量化了不同工具的权重更新幅度(2.5%至11.4%),并验证了模型能在中任务切换机械手时即时适应新策略。该工作旨在构建不依赖特定硬件形态的通用物理智能,使机器人能像工具箱一样灵活组合工具完成任务。
推荐理由:GEN-1 基础模型支持多种末端执行器,通过混合数据训练实现跨工具策略迁移与中任务切换适应。
NVIDIA 发布 Isaac for Healthcare 中的开源 GPU 加速医疗物理仿真框架,旨在解决医疗机器人训练数据稀缺瓶颈。该框架结合经典物理与 NVIDIA Cosmos-H Dreams 生成式 AI 物理模拟能力,支持解剖结构、柔性器械(如导管)及传感器输入的并行仿真,可将机器人训练环境从数千个并行运行并大幅缩短训练时间。
推荐理由:NVIDIA Isaac for Healthcare 新增开源 GPU 加速医疗物理仿真框架,支持解剖与器械交互建模及生成式 AI 物理模拟。
NVIDIA Rubin GPU 架构旨在驱动持续运行的 AI 工厂,支持具备推理、规划及工具使用能力的智能体工作流。该架构不再局限于单一提示词或离散模型训练,而是致力于在广阔上下文中执行复杂的跨步骤任务。
Google DeepMind 正式发布 Gemini 3.6 Flash、3.5 Flash-Lite 和 3.5 Flash Cyber 三款新模型。
推荐理由:DeepMind 发布 Gemini 3.6 Flash、3.5 Flash-Lite 及 Cyber 版本,提供具体性能指标与定价以支持规模化 AI Agent 构建。
Xiaomi-Robotics-1 是一款旨在适应陌生环境和快速学习新任务的具身智能基础模型。该团队利用手持机械臂采集了超过 10 万小时的运动数据,并通过 AI 自动标注完成预训练。
推荐理由:小米展示新模型证明在机器人运动训练中,增加数据量比扩大模型规模更能提升泛化性能。
文远知行正式发布物理 AI 认知基础模型 WeRide WITT(World Intelligence Toward Truth),该模型基于原子物理事实(APFs)框架,通过提取、推理、验证和整理可信事实来构建对物理世界的理解。
推荐理由:文远知行发布基于原子物理事实的认知基础模型 WITT,通过提取、推理与验证可信事实来降低幻觉并提升长尾场景挖掘效率。
Mistral 发布了其首款用于机器人导航的 AI 模型 Robostral Navigate。该 8B 参数量的模型完全由 Mistral 内部构建,仅在仿真环境中训练,利用约 40 万条路径数据和 6000 个虚拟空间进行训练。
NVIDIA 与 Hugging Face 合作将 NVIDIA Isaac GR00T 1.7 开源推理视觉语言动作(VLA)模型及 Isaac Teleop 框架集成至 LeRobot,并计划即将推出物理 AI 前沿模型 Cosmos 3。此次整合旨在通过共享模型、数据和工作流,降低开发者在机器人基础模型训练、评估与部署上的资源门槛,支持端到端的人形机器人开发流程。
推荐理由:NVIDIA 与 Hugging Face 将 Isaac GR00T 1.7、Isaac Teleop 及即将推出的 Cosmos 3 集成至 LeRobot,为具身智能开发者提供标准化的端到端开发路径。