地平线发布 LoFT 原生视频几何基础模型,探索面向物理 AI 的通用视觉表征
11 月 18 日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。
推荐理由:地平线发布原生视频几何基础模型 LoFT,通过双循环架构联合预测相机位姿与深度,在多项基准评测中表现领先。
11 月 18 日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。
推荐理由:地平线发布原生视频几何基础模型 LoFT,通过双循环架构联合预测相机位姿与深度,在多项基准评测中表现领先。
上海AI实验室发布并开源书生科学多模态大模型S2.1 Flash(简称书生-S2.1 Flash),依托统一表征架构支持分子、光谱等多类科学数据输入,融合视觉感知操控科研软件能力。模型在递归式自我改进模式下持续迭代优化,已在CT切片恢复、遥感水域变化量化、航空发动机装配建模检查及脑电伪迹剔除四项任务中验证闭环执行能力,推理成本显著降低且交付可复核的工程文件。
推荐理由:上海AI实验室发布书生-S2.1 Flash,融合科学多模态理解与通用智能体能力,支持在专业软件中执行复杂科研任务并交付可复核的工程文件。
上海 AI 实验室与奉贤区携手推出国内领先科学智能基座“书生·端砚”,聚焦美丽健康产业挖掘线索、生成候选及预测配方三大能力。该平台打通干实验与湿实验形成自迭代闭环,内置可信溯源机制,将助力入驻企业如自然堂、尚美压缩研发周期并降低试错成本。
上海 AI 实验室发布元认知智能体框架书生·太一(Sage·Taiyi),旨在解决科学探索中缺乏持续反馈闭环的问题。该框架通过科学搜索与认知调控协同,将科研猜想、路径与实证串联,驱动智能体在方案生成时动态迭代认知。
推荐理由:上海 AI 实验室推出元认知智能体框架书生·太一,在跨学科科学构思评测中八项指标领先,并已在有机化学、材料设计等领域支撑真实科研闭环。
Google DeepMind 正式向开发者、企业及消费者发布 Gemini 4 Carbon。该模型在 CursorBench 4.0、WANDR 等基准测试中排名第一,成本低于次优外部模型;在金融研究、全栈开发及网络安全漏洞挖掘与修复方面表现卓越;同时在科学推理(如蛋白质结构预测)和模型安全对齐上取得显著进展。
推荐理由:原文给出了模型在复杂知识工作、全栈开发及前沿网络安全领域的基准表现与成本优势,开发者可据此评估其是否适合现有工程流程。
Google DeepMind 正式发布 Gemini Robotics 2.5,这是其目前最强大的视觉语言动作(VLA)模型,旨在提升机器人学习速度与广度。该模型在超过 200 项任务测试中,相比基线成功率高出 30% 至 100%,完成任务速度快 20% 至 30%。
推荐理由:原文介绍了 Gemini Robotics 2.5 在任务广度、可靠性与安全方面的提升,并披露了与奔驰产线合作的实测数据及 ASIMOV-Jailbreak 基准。
NVIDIA 在 CoRL 大会上推出 GR00T 2 开放世界动作模型,支持灵巧操作技能迁移与少样本泛化;同时发布 Isaac Lab 3.0 框架集成 Newton 物理引擎以模拟变形物体。材料介绍了多项新基准、数据工作流及智能体编程工具,旨在提升机器人从实验室演示到工业部署的精度与自主性。
推荐理由:NVIDIA 在 CoRL 大会上推出 GR00T 2 世界动作模型及 Isaac Lab 3.0,提供传感器与变形物体的高保真仿真工具链。
World Labs 发布 Frameboy 研究预览,允许用户通过浏览器以最高 15 fps 的速率控制相机并实时探索由 Atlas 生成的 3D 场景。该演示基于高度优化的 Atlas 变体,支持从单张输入图像或文本描述生成全新视角,并可集成至 Viewfinder 应用用于构建和流式渲染自定义场景。
推荐理由:World Labs 推出 Frameboy 演示,支持以 Atlas 世界模型实现实时交互与流式帧生成。
智元在 AGIBOT Innovation Day 2026 上推出 Worken(有效智能工作小时)框架,用于衡量机器人在真实环境中的自主产出效率。
推荐理由:智元发布 Worken 生产力评估框架及 AHA3、GO-3 Preview 等新品,并宣布 Link-U OS 1.0 捐赠 OpenAtom 基金会。
智元今日发布 GO-3 Preview 具身基础模型,该模型支持从预训练、后训练到部署后的全生命周期学习,并在 RoboDojo、RoboTwin 和 RoboColiseum 三项主要具身智能基准测试中获得第一名。
推荐理由:智元发布 GO-3 Preview 预训练模型,在三大基准测试中位列第一,并开放全生命周期学习架构与仿真工具链。
上海人工智能实验室联合苏州国家实验室等推出“材华·MatVerse”材料多模态大模型及智能体应用体系。该模型采用独立编码器加统一解码器架构,将 XRD 谱图、电镜图像和分子结构等多源异构数据映射至同一语义空间,实现从知识记忆到逻辑推理的能力跃迁。
推荐理由:MatVerse 材料多模态大模型上线,支持 XRD 谱图与分子结构理解及机理推理,并开放评测基准。
Google DeepMind 正式发布 Genie 4,这是一款原生多模态的世界模型,旨在提升实时交互式仿真的真实感。该模型能同时生成类似音乐的音频、环境噪音及互动对话,并基于 Gemini 系列能力锚定现实外观与行为。
上海AI实验室推出通专融合智能体书生-A1.5(Sage-A1.5),在神经科学与电化学等真实场景中验证递归自我改进技术路径。该模型具备智能体编排与校验能力,可自主拆解任务、调度子智能体并行调研并修正推理偏差。35B参数版本在多项专业评测基准中表现优异,支持昇腾NPU及多种GPU架构,面向科研团队开放试用。
推荐理由:上海AI实验室推出通专融合智能体书生-A1.5,验证真实科学场景驱动基模自进化路径。
上海AI实验室联合中国科学院金属研究所等机构发布自进化合金设计专家模型“书生·衍金”(AlloyEvo)。该模型通过自主设计方案、智能评估性能并沉淀经验,在航空航天3D打印工程钛合金研发中实现突破:样品抗拉强度达1817MPa,较现有基准提升12.8%,均匀延伸率持平。AlloyEvo已集成至书生·端砚科学发现平台,支持高温合金、特种钢等新材料体系的设计与研发。
推荐理由:上海AI实验室联合多方推出自进化合金设计专家模型AlloyEvo,在工程钛合金研发中实现抗拉强度提升12.8%的突破。
NVIDIA CUDA Tile (cuTile) 作为基于 Python 的 DSL,利用高级硬件能力自动优化 tile 级 GPU 编程以交付峰值性能。该模型通过抽象线程和 warp 级调度,使开发者能用 Python 编写 GPU 内核并享受编译器自动优化带来的加速效果。
NVIDIA Nemotron 3.5 Super VL 是一款开源可定制的多模态模型,专为处理阅读文档、跨源查信及调用工具等长流程企业工作流设计。该模型采用 120B 参数混合专家架构,每次请求仅激活 12B 参数以支持专用智能体的高效推理。
DeepMind 发布 Gemini 4 Argon,该模型在 ERQA 基准测试中纯推理得分 87%,超越其他前沿模型。Argon 支持从遥操作到自主控制的闭环视觉回路,能基于真实视频或手绘草图构建物理校准的 MuJoCo 仿真双胞胎,并开放了多模态后见性标注与价值函数预测等工具。
推荐理由:DeepMind 发布 Gemini 4 Argon,在 ERQA 基准测试中纯推理得分 87%,并开放了从代码生成到仿真构建的机器人工作流入口。
Google DeepMind 正式发布 Gemini 4 Argon 模型,该模型在具身推理基准 ERQA 中以 87% 的分数领先其他前沿模型,并展示了通过观看人类操作视频自主构建仿真代码、进而将技能迁移至人形机器人(Apptronik Apollo)实现连续投掷的技能。
推荐理由:DeepMind 发布 Gemini 4 Argon,在具身推理基准 ERQA 以 87% 分数领先,并展示通过观看视频自主构建仿真代码并在人形机器人上实现技能迁移的能力。
上海人工智能实验室推出决策模型‘书生·明决’(Intern-Decision),包含0.8B、2B、4B三档参数版本。该模型将原生视觉感知与指令遵循融为一体,在单卡RTX 4090环境下实现每秒约30次决策的响应速度,端到端时延比Jev快2倍以上。
推荐理由:上海AI实验室推出原生视觉决策模型书生·明决,在端侧推理速度与多模态任务质量上超越Jev等开源基线。
Google DeepMind 发布 EmbeddingGemma 2,这是一个基于 Gemma 4 架构的开源多模态嵌入模型,采用 Apache 2.0 许可。
推荐理由:DeepMind 发布 EmbeddingGemma 2,统一处理文本、代码、音视频的多模态嵌入模型,支持端侧推理与离线 RAG。
NVIDIA 指出在数千 GPU 上训练万亿参数模型时,多并行维度、低精度计算及分布式检查点使故障复现复杂。引入比特级确定性可显著降低大规模预训练的调试难度并支持可靠验证与恢复。该技术通过 Megatron Core 解决分布式训练中失败复现困难的问题。
Boston Dynamics 正式发布 Atlas 机器人新一代手部(GR3),采用 13 个自由度的四指结构,放弃小指以平衡成本与可靠性。该设计具备高保真仿真能力,支持强化学习训练及 sim-to-real 迁移,能够执行灵巧捏取、工具触发等复杂操作,并配备密集压力触觉传感器以实现精细感知。
推荐理由:波士顿动力发布 Atlas 新一代手部,通过高保真仿真与强化学习设计实现灵巧操作,为工业场景提供低成本、可量产的解决方案。
DeepMind 推出 SynthID Bio,这是一种专为合成生物学开发的水印技术,能将不可见的签名直接嵌入生物代码(氨基酸序列或原子坐标),确保水印不仅存在于数字模型中,也能在合成的物理蛋白上被验证。
推荐理由:DeepMind 推出 SynthID Bio,在保持蛋白质功能的前提下实现生物代码隐形水印,为 DNA 合成筛查与数据库完整性提供自动化验证信号。
Skild 团队宣布其旗舰机器人基础模型 S1 在 NVIDIA Isaac Sim 中通过自我博弈(self-play)学会了踢球等灵巧动态任务,并在模拟运行约 140 年后成功将策略迁移至人形机器人完成比赛。该研究旨在证明物理自我博弈能推动机器人能力超越人类水平,团队正计划将该方法扩展至更多日常任务及大规模协作场景。
推荐理由:Skild 团队宣布 S1 基础模型通过仿真自我博弈掌握足球等高难度任务,并成功迁移至人形机器人。
上海人工智能实验室于2026年9月13日发布书生多模态大模型S2(书生-S2),重点提升长程科研与智能体能力。该模型通过Memory Decoder引入可插拔专业记忆,在不修改主参数下持续扩展领域知识;在IMO-Proof等数学基准上领先开源并达到Gemini 3.1 Pro水平。
推荐理由:上海AI实验室发布书生-S2,通过Memory Decoder实现专业知识持续扩展,在数学与科学任务上达到顶尖闭源水平。
Figure 推出 Helix 2.5,这是其构建的最先进神经网络,旨在解决机器人进入从未见过的家庭即可立即工作的难题。该模型在 Figure 的 Index 全球人类行为数据集上进行预训练,无需在评估环境中收集数据或微调,即可在 30 户未见的湾区家庭中完成整理房间、叠毛巾和铺床三项长周期任务。
推荐理由:Figure 推出 Helix 2.5,基于 Index 数据集实现零样本跨 30 户家庭的全身体自主能力。
NVIDIA Isaac Lab 3.0 Early Access 正式发布,确立了下一代机器人学习的架构基础,提供跨物理引擎(Newton、PhysX)、渲染器及可视化后端的统一任务 API。
推荐理由:NVIDIA Isaac Lab 3.0 Early Access 发布,提供跨物理引擎与渲染器的统一任务 API、零依赖执行及 Warp 原生数据路径。
上海人工智能实验室在2026浦江创新论坛期间正式发布书生科学多模态大模型S2和书生物理世界模型W0,全面开放书生·端砚科学发现平台全栈服务及本地客户端。书生-S2在长程科研与数学推理基准上表现优异;W0通过原生力触与双工协同支持机器人连续完成精密操作,已接入平台支撑干湿实验闭环。
推荐理由:上海AI实验室正式发布书生科学多模态大模型S2与书生物理世界模型W0,并开放端砚平台全栈服务及本地客户端。
NVIDIA Nemotron 3.5 Lightning 采用混合专家(MoE)架构,在 30B 总参数量下每 token 仅激活 3B 参数以兼顾容量。文章对比了 Dense 与 MoE 两种主流模型架构的主动参数组织方式及性能特征。内容重点解析了不同场景下选择 Dense 或 MoE 模型的依据,涵盖吞吐量分析与选型建议。
在2026浦江创新论坛上,上海人工智能实验室升级发布书生·端砚科学发现平台并全面开放全栈服务。该平台接入最新推出的书生科学多模态大模型S2和书生物理世界模型W0,旨在推动AI科研从单任务执行走向可持续、可核验、可复现的完整过程。
推荐理由:上海AI实验室升级发布书生·端砚平台,接入S2多模态大模型与W0物理世界模型,打通从假设提出到真实实验验证的闭环。
IBM Research 彭远李与彼得·斯塔尔在 OpenCV Live 225 聚焦从模型到工作流的转变,演示 Granite Vision 轻量级开源视觉语言模型如何配合 Docling 处理企业文档理解任务。该环节延续彭远李八月介绍 Granite Vision 的讨论,重点展示两者结合构建文档智能流程的具体实践路径。
上海人工智能实验室发布『书生』物理世界模型W0,旨在为大模型进入物理世界提供支撑。该模型原生融合视觉、力觉和触觉,采用双工协同架构实现输入输出并行处理,并通过异步异频设计让规划与实时行动解耦。
推荐理由:上海AI实验室发布『书生』物理世界模型W0,原生融合力触视觉并采用双工协同与异步异频架构,在双臂湿实验任务中实现93.12%成功率与超低延迟。
智元发布原生世界动作模型 GE-Act 2.0,提供首个关于原生世界动作模型可扩展预训练路径的系统性验证。该模型从随机初始化开始训练所有参数,在零样本评估中展现了随数据规模扩大(300 至 30,000 小时)而涌现的新能力与跨机器人本体的迁移效果。材料介绍了其控制导向自编码器、单步视觉规划及知识对齐选择性优化等架构设计,并指出其与 GE-Sim 共同构成世界模型框架。
推荐理由:智元发布原生世界动作模型 GE-Act 2.0,验证了训练数据规模扩大带来的能力涌现与跨本体迁移路径。
Skild AI 发布 S1 机器人基础模型,利用上下文学习技术从单个视频演示中理解并执行此前未见的新任务,无需更新权重或进行特定后训练。该模型在植物种植等长程多步操作中成功率提升七倍,仅需 11 分钟即可从录制演示过渡到硬件自主执行。
推荐理由:Skild AI 推出 S1 机器人基础模型,支持单视频演示学习新任务,无需重新训练即可执行长达 10 分钟的复杂操作。
NVIDIA 推出面向 Robotaxi 的全栈开放平台,整合了 DGX 训练计算机、Omniverse/Cosmos 仿真验证计算机及 Hyperion 车端计算架构。
推荐理由:NVIDIA 推出全栈开放平台,提供 Alpamayo VLA 推理模型、Cosmos 世界基础模型及 Omniverse 仿真工具链,支持从训练到车端部署的闭环开发。
NVIDIA Dynamo 采用 Encode-prefill-decode (EPD) 解耦技术,将视觉编码器阶段与预填充及解码阶段分离。该技术对图像密集型提示、短至中等长度输出以及量化混合专家(MoE)模型效果最佳,可实现高达 5 倍的推理加速。
NVIDIA 团队利用 NemoClaw 构建了记忆驱动的“首席幕僚”智能体,通过维护名为"self model"的可读知识层来解决企业工作流中上下文随时间变化的问题。该方案使无需初始上下文的 AI 智能体在贡献前能重构包含消息、决策及义务的历史背景,从而适应动态变化的企业任务环境。
Google DeepMind 发布旗舰级气象模型 WeatherNext 3,该模型直接学习实时卫星观测数据而非数值模式,实现每小时更新与最高 5 公里分辨率,降水预测精度较基线提升显著。系统已集成至 Search、Gemini、Maps 等产品,提供清洁能源变量预测及全球高分辨率气象图,支持研究人员通过 BigQuery 和 Earth Engine 查询数据。
推荐理由:DeepMind 发布 WeatherNext 3,利用实时卫星数据实现每小时更新与 5 公里分辨率,显著提升降水预测精度并支持清洁能源变量。
DeepMind 推出 Gemini 3.8 Flash 及专为可信防御者提供的 3.8 Flash Cyber,后者在内部基准中漏洞发现成功率超 70%,CWE-Bench 补丁 pass@1 达 47.2%。两款模型均基于相同核心智能,通过长周期智能循环迭代优化,在软件工程和关键多步推理领域显著提升性能且成本更低。
Google DeepMind 今日在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 模型中推出代理式视频理解(agentic video understanding)功能。
推荐理由:DeepMind 在 Gemini Flash 系列中引入代理式视频理解,通过动态检索与多模态分析显著降低长视频处理成本并提升精度。