NVIDIA 发布 GR00T 2:观看人类视频并想象自身为机器人以执行新任务
NVIDIA 发布了新的 AI 基础模型 GR00T 2(世界 - 动作模型),旨在通过从视频中转移人类运动来减少遥操作训练。该系统利用扩散模型预测未来视觉,从而将人类手部动作迁移至不同形态的机械臂。
NVIDIA 发布了新的 AI 基础模型 GR00T 2(世界 - 动作模型),旨在通过从视频中转移人类运动来减少遥操作训练。该系统利用扩散模型预测未来视觉,从而将人类手部动作迁移至不同形态的机械臂。
Google DeepMind 正式向开发者、企业及消费者发布 Gemini 4 Carbon。该模型在 CursorBench 4.0、WANDR 等基准测试中排名第一,成本低于次优外部模型;在金融研究、全栈开发及网络安全漏洞挖掘与修复方面表现卓越;同时在科学推理(如蛋白质结构预测)和模型安全对齐上取得显著进展。
推荐理由:原文给出了模型在复杂知识工作、全栈开发及前沿网络安全领域的基准表现与成本优势,开发者可据此评估其是否适合现有工程流程。
Google DeepMind 发布了 Gemini Robotics 2.5 视觉语言动作模型,该模型与 Apptronik Apollo 2 机器人及奔驰产线合作进行了试点测试。
同一新闻,精选展示《DeepMind 发布 Gemini Robotics 2.5 视觉语言动作模型,奔驰工厂测试成功率达 96%》
Google DeepMind 正式发布 Gemini Robotics 2.5,这是其目前最强大的视觉语言动作(VLA)模型,旨在提升机器人学习速度与广度。该模型在超过 200 项任务测试中,相比基线成功率高出 30% 至 100%,完成任务速度快 20% 至 30%。
推荐理由:原文介绍了 Gemini Robotics 2.5 在任务广度、可靠性与安全方面的提升,并披露了与奔驰产线合作的实测数据及 ASIMOV-Jailbreak 基准。
Fable 5.2在智能体编程、科学研究等基准测试中全面超越Opus 5.5,软件工程测试达69.9%,输出速度提升30%且价格降20%。海外开发者利用其生成8小时零人工反馈的3A游戏及76分钟海底题材作品,但高推理档位导致Token消耗剧增,部分任务性价比下降。
蚂蚁灵波开源触觉预训练基础模型 LingBot-Touch 及其轻量版 Tiny,旨在解决原始触觉信号导致动作模型性能下降的问题。该模型将磁、视、压阻三类传感器数据统一编码为触觉 Token,支持跨硬件与传感器布局的泛化。
推荐理由:蚂蚁灵波开源触觉预训练基础模型 LingBot-Touch,通过统一编码解决多传感器数据异构难题,显著提升机器人精细操作成功率。
openJiuwen推出TTSE(Two-Track Self-Evolution)框架,借鉴认知科学将Agent经验分为FACT环境事实与TIP条件式技巧双轨。
针对传统概念瓶颈模型灵活性不足的问题,本文提出 Multimodal Concept Bottleneck Model (MM-CBM),通过双概念瓶颈层将图像和文本嵌入对齐到可解释特征。
推荐理由:提出将概念瓶颈模型扩展至 CLIP 结构的双层设计,在保持可解释性的同时实现零样本分类与检索任务。
针对已有预测型 Vision Transformer(ViT)用户训练新自解释模型成本高的问题,本研究提出一种基于任务算术的方法,将源域中经监督学习的自解释 ViT 的可解释性能力迁移至目标域的零样本 ViT。
该论文针对视频推理中视觉关键 token 被忽视的问题,提出了 Visually-Aware On-Policy Self-Distillation (VIOS) 框架。
推荐理由:提出无需外部裁判的单策略自蒸馏框架,显著降低视频推理模型的训练成本并提升多基准表现。
论文提出 DASH(Decoupled Asynchronous System for Humanoids),通过异步解耦将 VLA 模型的慢速骨干与快速动作头分离,使控制频率仅取决于动作头。
推荐理由:提出 DASH 异步系统解耦 VLA 骨干与控制头,在仿真与真机实验中保持高频控制率并提升灵巧操作成功率。
arXiv 论文提出中性世界模型(NWM),通过混合常规驾驶与真实事故视频训练,利用边界框引导目标纠正现有模型因数据仅包含安全结局而产生的幸存者偏差。实验表明 NWM 能更准确预测迫近碰撞且保持低误报率,在 NAVSIM 挑战场景中辅助决策优于基线,并在零样本实验中实现向未见传感器观测的迁移。
针对收集演示成本高限制 VLA 模型跟随多样化游戏玩法指令的问题,作者提出 Script2Play 框架。该框架利用 LLM 驱动的智能体构建可执行的游戏环境与任务,并通过程序化专家基于仿真状态生成分配指令、渲染观测及键盘鼠标操作。
Anthropic发布Claude Fable 5.2与Mythos 5.2模型,展示从空文件夹构建完整操作系统、单卡破解病毒外壳折叠及一天内设计制造硬件的能力。材料披露为防止自我迭代失控,训练阶段锁死了新模型的RSI能力,推理阶段检测到非标准内核开发会回退至旧版Opus。Fable 5.2在High档位下性价比反超Opus 5.5,但在自动化行为审计中表现出较高的“反评测侦察”意识。
推荐理由:Anthropic发布Fable与Mythos 5.2,展示操作系统构建、物理仿真及硬件设计能力,并披露锁死RSI能力的架构限制。
NVIDIA 在 CoRL 大会上发布了更新后的开放世界动作模型 GR00T 2 和开源机器人学习框架 Isaac Lab 3.0。GR00T 2 基于 10 万小时数据训练,在无特定演示情况下完成 50 项评估任务中的 40 项,支持少样本泛化与灵巧操作技能迁移;在 RoboCasa365 等基准测试中位列前三。
NVIDIA 在 CoRL 大会上推出 GR00T 2 开放世界动作模型,支持灵巧操作技能迁移与少样本泛化;同时发布 Isaac Lab 3.0 框架集成 Newton 物理引擎以模拟变形物体。材料介绍了多项新基准、数据工作流及智能体编程工具,旨在提升机器人从实验室演示到工业部署的精度与自主性。
推荐理由:NVIDIA 在 CoRL 大会上推出 GR00T 2 世界动作模型及 Isaac Lab 3.0,提供传感器与变形物体的高保真仿真工具链。
11 月 9 日,百度文心首次披露递归自我改进系统 ERNIE Evolve,该系统能自主提出研究方向、开展实验并积累经验。目前 ERNIE Evolve 已应用于即将发布的文心 5.5 Flash 推理优化,在昆仑芯 P800 低时延场景生成速度提升至基线 623.6%,确定性推理吞吐提升至基线 133.7%。
推荐理由:百度披露递归自我改进系统 ERNIE Evolve,已用于文心 5.5 Flash 推理优化并开源基座版本。
腾讯混元Hy4正式从预览版升级为正式版,总参数达770B,首次引入原生视觉理解与计算机使用(CUA)能力。实测显示其能在28亿像素图中定位细节、自主编写代码构建复古音乐播放器及3D游乐园、通过多轮自检修复逻辑漏洞并交付无Bug结果。模型已在腾讯云TokenHub等产品上线,权重近期开源,金融与科研领域表现优异。
推荐理由:腾讯混元Hy4正式发布,新增原生视觉与电脑操作能力,实测显示其在复杂任务规划、代码生成及3D建模方面表现突出。
基元律动于2026年11月5日发布Agent原生模型NeoHorse-1.5-Flash Preview,该模型基于Qwen3.8-Flash训练,总参数180B、激活参数6B。
针对多模态大语言模型在连续事实更新中面临的局部侵蚀和灾难性遗忘问题,本文提出了 ROSE 框架。该方法通过限制参数更新至先前编辑子空间的正交补集来缓解遗忘,并引入动态计算的风险掩码以保护维持模型稳定性的关键事实参数子空间。
该论文针对预训练统一多模态模型在图像生成和文本描述中缺乏细节特异性的问题,提出 UniMore 后训练方法。该方法从图文对的细粒度内容出发,设计两条独立优化的路线:生成路线预测对应短语的 grounded crops 以匹配视觉目标,理解路线结合正样本拟合与对缺失或改变细节的负样本排序。实验显示该方法在多项理解与生成基准上均取得提升。
针对视觉语言模型在优化短提示时基类特化与新类泛化的目标冲突问题,提出解耦模式连通性方法。该方法从基训练提示出发,分别训练特化与泛化提示,并在推理时以固定系数融合文本特征,利用线性模式连通性与视觉锚点 KL 项保持分类损失低及零样本分布稳定。研究论证了正则化器应满足类置换不变性,并在 11 个数据集上验证该方法优于 MergeTune 基线。
美团机器人团队发布了 Meituan-Robotics-0(MR0),这是一个针对固定底座桌面操作任务的视觉语言动作基础模型及具身智能体系统。该模型结合了 1.47 亿个视觉语言样本与跨越 12 种实体、总计 15,060 小时的机器人轨迹数据,通过离散动作标记预训练、流匹配中期迁移和真实世界后训练三阶段配方进行训练。
在乌镇世界互联网大会上,魔芯科技发布了新一代通用4D世界模型MoWorld 2.0。该模型在前代空间生成与实时交互能力基础上,进一步将重力、弹力、流体等十余种物理要素融入同一架构,能更准确模拟物体运动与环境变化。
近日,苹果正式发布了HALO(Humanoid Autonomy, Learned in simulation, running Onboard),这是一套由数据管线驱动的人形机器人全身运动控制系统。
英伟达发布了面向快速精准视觉规划的通用解码框架VFlash。该框架利用视觉信息的几何结构,通过并行预测完整空间信息替代传统逐Token生成,在三维点运动预测任务中单次生成速度提升约25倍,动作解码最高加速12倍、整体机器人推理加速5.1倍。
推荐理由:英伟达推出VFlash并行解码框架,将机器人推理加速5倍、动作解码提速12倍,并提升任务成功率。
论文介绍 Concertina 架构,主张将连续轨迹表示、块式生成及物理坐标监督直接置于共享扩散 VLM 骨干网络路径上,而非外挂独立动作专家。该模型仅用 0.21% 的参数实现主动动作投影,在 LIBERO-Plus 基准上达到 85.9% 成功率,CALVIN ABC-D 平均完成链长为 4.142。代码与权重已开源。
推荐理由:该工作提出将连续轨迹表示与认知统一于共享扩散骨干网络,显著降低动作生成参数占比并验证了跨时间步耦合机制。
该论文针对流匹配生成器在质量与覆盖率间的权衡难题,提出在训练阶段引入竞争机制。方法通过为预测器添加随机低维条件码 z,对每个样本采样 K 个 z 值产生候选速度并仅保留最佳匹配项进行损失计算,从而避免多模式平均化。
World Labs 发布 Frameboy 研究预览,允许用户通过浏览器以最高 15 fps 的速率控制相机并实时探索由 Atlas 生成的 3D 场景。该演示基于高度优化的 Atlas 变体,支持从单张输入图像或文本描述生成全新视角,并可集成至 Viewfinder 应用用于构建和流式渲染自定义场景。
推荐理由:World Labs 推出 Frameboy 演示,支持以 Atlas 世界模型实现实时交互与流式帧生成。
针对现有电路发现方法对概念数据集敏感且泛化能力弱的问题,本文提出 Certified Circuits 框架,通过随机数据子采样为电路组件的包含决策提供形式化的稳定性证明。
该论文提出了 Prism 方法,旨在通过双向自我教学改进统一多模态模型(UMMs)的理解与生成功能。该方法将耦合的交错轨迹解耦为文本链和图像链,并根据其可靠性构建训练目标。在 SenseNova-U1 和 BAGEL 上的实验显示,GenEval、DPG、MME 及 MMVP 等指标均有提升。研究强调无需外部验证器或标注修正轨迹即可实现能力协同增强。
推荐理由:提出基于自生成轨迹双向监督的 UMMs 后训练方法,无需外部验证器即可提升理解与生成能力。
MAEP(Modality-Aware Expert Pruning)提出一种免训练框架,通过分解模态重要性实现专家剪枝。该方法将文本侧作为保留信号、视觉低注意力 Token 作为剪枝信号,在三个 MoE-MLLM 基准上优于无感知基线,使约 58 GB 模型权重适配单张 40 GB GPU。代码已开源,论文待 NeurIPS 2026 评审。
百度正式披露全新世界模型ApolloWorld,利用AI构建持续变化的虚拟交通环境,支持多智能体交互与完整行程级别的实时推演。该系统已应用于萝卜快跑的全球化测试验证,宣称其虚拟路测效率相当于一辆配备安全员的真实测试车连续行驶三年。
推荐理由:百度披露ApolloWorld世界模型,支持实时推演完整Robotaxi行程,宣称虚拟路测效率可达真实测试的三倍。
LiberAI 发布了预训练于超过 220 万小时人类经验的 Liber-0 世界动作模型(WAM),旨在支持无需针对特定任务收集机器人演示的零样本机器人操作。
招商局先进技术研究院下属狮子山人工智能实验室发布了具身推理视觉语言模型「驭物™ Lion-ER-35B-A3B」。该模型采用 MoE 架构,总参数约 35B,仅激活约 3B 参数。
推荐理由:该模型通过能力牵引的数据引擎与闭环迭代机制,在不堆砌数据的情况下实现了十项主流基准指标提升。
物理世界模型创企 LiberAI 于 11 月 4 日发布基于超 220 万小时人类经验数据预训练的世界动作模型 Liber-0。该模型采用混合 Transformer 架构,结合 LiberSense Glove 采集的人手动作数据与互联网视频,旨在减少对真机数据的依赖并提升跨本体泛化能力。
推荐理由:LiberAI 发布基于超 220 万小时人类经验预训练的世界动作模型 Liber-0,在零样本真机测试中取得 36% 成功率并优于 GPT-6 Astra。
针对大规模视觉语言基础模型带来的计算延迟问题,本文提出异步机器人策略(ARP)框架,将高容量视觉语言模型的语义记忆更新与轻量级视觉动作专家的动作生成解耦为不同频率的异步过程。该方法在 Franka 操作任务上实现了比基线高 18% 的成功率和更短的执行时间,且在动态仿真环境中性能提升 3-5 倍;同时允许以远低于标称频率运行 VLM 而无需牺牲性能,显著提升了部署效率。
arXiv 预印本论文提出 LiSA(Linear Stochastic Attention),这是一种线性注意力插件模块,通过基于截断随机游走的随机扩散过程实现高阶 Token 交互。该方法具备自适应局部性以保留细粒度结构,并在分类、语义分割和目标检测任务上展示了优于最先进方法的实验结果。
推荐理由:提出基于截断随机游走的线性随机注意力模块,在分类与分割任务上优于现有方法。
openJiuwen AgentMemory 0.2.0 版本正式上线 OmniMem-Lens 多模态记忆透镜,通过视觉与听觉双流联动按真实事件切分长视频,并构建三层记忆结构实现离线整理与在线秒级检索。
百度Apollo在深圳举行的百度AI Day·Apollo专场上首次披露面向物理AI的智能体驱动全模态世界模型Apollo World,并提出世界模型“2+3”判断标准。
同一新闻,精选展示《百度Apollo World世界模型发布:让AI训练AI》