地平线发布 LoFT 原生视频几何基础模型,探索面向物理 AI 的通用视觉表征
11 月 18 日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。
推荐理由:地平线发布原生视频几何基础模型 LoFT,通过双循环架构联合预测相机位姿与深度,在多项基准评测中表现领先。
11 月 18 日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。
推荐理由:地平线发布原生视频几何基础模型 LoFT,通过双循环架构联合预测相机位姿与深度,在多项基准评测中表现领先。
英伟达机器人与边缘AI副总裁Deepu Talla接受采访指出,GPT-6 Astra通过Agent调用物理AI工具,将仿真环境构建与系统集成效率提升约100倍。
该研究提出基于模型反馈线性化的几何鲁棒数据驱动预测控制(DDPC),用于全驱动机械臂轨迹跟踪。仿真在含重力平面 2R 机械臂上验证,相比双积分 MPC 提升跟踪精度但增加扭矩消耗,性能相对 DeePC 取决于参考轨迹。论文已提交至 2027 年瑞典斯德哥尔摩学习动力学与控制会议,暂未开源代码或权重。
OpenAI发布GPT-6.2 Astra与Sol模型,Astra在Agents' Last Exam评测中比前代提升5.2个百分点且任务成本降至三分之一以下。两款模型已登陆ChatGPT Work、Codex及API,Plus和Pro订阅用户可用,其中Astra API输入每百万Token价格为8美元。
英伟达在 CoRL 大会正式发布 GR00T 2 世界动作模型、Isaac Lab 3.0 开源框架以及 Isaac Lab-Arena 0.4 版开发者预览版。
论文提出 LatentRouter 方法,将多模态大语言模型(MLLM)的路由问题建模为反事实多模态效用预测。该方法提取学习到的路由胶囊并代表候选模型能力,通过潜在通信估计各模型在选定时的表现,结合分布结果头与有界胶囊修正进行决策。
论文提出将局部微调、LoRA 及激活干预等 LLM 控制方法视为由控制信号诱导的动态权重更新,构建了统一的偏好 - 效用分析框架。研究发现控制强度增加会提升对目标概念的倾向(偏好)但降低生成连贯性(效用),并通过激活流形视角解释了这一权衡机制。作者据此提出了新的转向方法 SPLIT,旨在改善偏好同时更好地保留效用。代码已开源。
该研究介绍了一种黑盒可解释性框架,通过学习“宪法”来总结提示词变化对模型行为(如对齐、正确性或约束遵循)的影响。方法利用原子概念编辑(ACEs),系统性地添加、移除或替换输入提示中的可解释概念,从而建立从编辑到结果的因果映射。
论文指出将 Qwen3-VL-8B-Instruct 蒸馏至 3:1 Mamba-2/attention 混合架构时,虽然整体推理效率提升且视觉推理能力保持,但在 OCR 和文档任务上性能大幅下降。
推荐理由:针对混合架构蒸馏中 OCR 任务失效问题,提出无需额外参数的密度加权残差对齐方法 HEED,在保持推理效率的同时显著提升细粒度文本理解能力。
针对统一多模态模型中理解与生成分离导致协同效应不确定的问题,本文提出理解导向后训练(UNO)框架。该框架将理解任务作为直接监督信号,通过编码语义抽象和结构细节的目标,实现从理解到生成的有效梯度流动。实验表明理解可作为生成的高效催化剂。
推荐理由:提出理解导向后训练框架,利用语义与结构监督引导生成表示。
针对权重分解方法因矩阵替换引入开销导致延迟降低困难的挑战,本文提出平衡双权重分解(BTWF)方法。该方法在共享基元设置下利用孪生层结构减少推理时间,并通过因子分量平衡与块贡献平衡优化性能。实验表明,BTWF 在六个模型九个基准测试中相比最先进方法提升 2-6%,无需昂贵的微调即可实现效率与性能的平衡。
论文介绍 ALIVE,一个支持主动监控、流式任务协调和反馈寻求交互的交互式流式视频模型。研究构建了包含 28.8 万样本的监督微调数据集(ALIVE-SFT-288K)和 3000 样本的强化学习数据集(ALIVE-RL-3K),采用对比监督微调与行为对齐信用分配强化学习进行两阶段训练,并提出了 FSI-Bench 评测基准。
推荐理由:提出 ALIVE 交互式流式视频模型,结合对比监督微调与行为对齐信用分配强化学习,在多项基准及新评测中表现领先。
针对混合专家多模态大语言模型(MoE-MLLMs)中激活专家存在计算冗余的问题,本文提出 ProSE 框架。该方法无需训练,通过探测层间重建误差来促进表示一致性,并构建查询感知的语义掩码以识别关键视觉 token,进而为每层校准模态特定的跳过阈值。
阿里巴巴于11月16日发布全新一代基座大模型Qwen4-Max,总参数2.4T,具备原生视觉能力和百万上下文支持。该模型采用基于稀疏注意力的MoE架构,激活参数仅71B,在CodeArena前端编程盲测中位居全球第六,在Agents' Last Exam等智能体评测中处于领先梯队。
推荐理由:阿里发布Qwen4-Max,总参数2.4T且激活仅71B,在CodeArena等权威评测中表现领先,并支持持续交付与运筹建模。
NVIDIA在Hugging Face平台发布了Alpamayo 2 Edge模型,该模型拥有20亿个参数,专为DRIVE AGX Thor平台设计以支持10 Hz运行频率。它旨在帮助开发者在车载算力和延迟限制下进行开发,并附带部署方案及评估工具,可用于生成并分析驾驶轨迹及其因果解释。
该研究挑战了层间视觉 - 文本相似性反映跨模态交互的假设,发现标量对齐分数无法稳定检测视觉流被噪声替换后的退化现象,将其称为“对齐幻觉”。作者提出主角度差(PA gap)指标来区分主导方向优势与结构化内容重叠,证明内部对齐更应视为语言模型内部的几何诊断而非直接的内容交互代理。材料为 NeurIPS 2026 接收的预印本论文,未报告真实机器人部署结果或具体产品发布。
大晓机器人近日发布最新研究成果ACE-CaP-0,该研究探索通用模型通过主动获取经验自主开发、验证和优化机器人技能。ACE-CaP-0创新性地结合按需示范与按需仿真机制,AI智能体可自主判断请求人类示范或开展仿真实验,并结合真机反馈修订代码策略。
上海AI实验室发布并开源书生科学多模态大模型S2.1 Flash(简称书生-S2.1 Flash),依托统一表征架构支持分子、光谱等多类科学数据输入,融合视觉感知操控科研软件能力。模型在递归式自我改进模式下持续迭代优化,已在CT切片恢复、遥感水域变化量化、航空发动机装配建模检查及脑电伪迹剔除四项任务中验证闭环执行能力,推理成本显著降低且交付可复核的工程文件。
推荐理由:上海AI实验室发布书生-S2.1 Flash,融合科学多模态理解与通用智能体能力,支持在专业软件中执行复杂科研任务并交付可复核的工程文件。
盖世汽车汇总了本周具身智能与物理AI领域的多项进展:均胜电子向宇树交付首台高算力大脑背包,双方推进工业场景应用共研;禾赛机器人动力模组累计出货超3.5万套,全身关节模组进入量产。
推荐理由:原文汇总了均胜电子、禾赛等企业的交付与融资进展,以及英伟达、谷歌的模型发布和韩国政府的扶持计划,适合快速了解本周产业动态。
AI 公司 Runway 正式开源其机器人控制模型 Praxis-1,该模型基于视频训练,能预测环境变化并计算机器人动作。材料提供了 Apache 2.0 许可的权重与代码下载入口,报告了其在 RoboLab-120 榜单上的表现及在真实 Franka 机械臂上的任务成功率,同时指出了对特定数据微调的需求及硬件要求。
推荐理由:Runway 开放了基于视频训练的机器人控制模型 Praxis-1,提供 Apache 2.0 许可权重与代码,并报告了在仿真及真实机械臂上的性能数据。
论文提出一种混合决策模型(HDM),利用冻结骨干网络配合轻量级自路由块,在单次前向传播中实现零思考或全思考两种模式切换。该方法通过校准的决策策略优化(CDPO)从回合级回报中学习何时进行推理,并在 MMLU-Pro、AGIEval 及 MiniWoB 等基准上验证了其在保持精度的同时显著降低延迟和 Token 成本的效果。
推荐理由:提出零思考或全思考的混合决策模型,通过自路由块动态评估推理价值以平衡精度与延迟。
深圳具身智能公司星尘智能发布了面向多机器人协同操作的模型框架CoMind(Be My Eye)。该框架通过去中心化的主动共享与任务关键信息的精选压缩,让机器人在独立决策的同时交换对任务有用的信息。
论文指出在多模态表示学习中,单纯的对齐目标会在信息不对称场景下丢失私有结构与跨模态协同效应。为此提出分解 JEPA(D-JEPA),将潜在变量分解为对齐共享核心与恢复被丢弃信息的私有特征纤维。实验表明该方法避免了组合推理基准上的语义坍塌,恢复了正的多模态协同差距,并在下游任务上大幅提升了准确率。
该论文提出了一种受控框架,在统一数据和计算预算下对比了不同视觉编码策略。研究发现,联合训练的专用视觉容量比预训练先验更有效,且无需前置融合即可达到同等性能甚至降低首字延迟。结果支持将专用视觉容量与主干网络联合训练并置于早期的架构设计。
XBot-Omni 提出 Thinker-Talker-Actor 架构,将全模态范式扩展至机器人肢体运动与面部表情。该模型在七个基准测试中展现了强大的多模态理解能力与自然协调的运动生成效果。研究验证了其直接从全模态输入生成具身多模态响应的能力,实现了从对话交互到物理环境具身通信的延伸。
作者 Tian Xia 提出 Joint Null-Space Projection (JNSP),这是一种将独立微调的检查点合并为多任务模型的闭式方法,无需数据、标签或梯度步。
DiFiT 通过双视图蒸馏与可微 Top-K 机制,在保留模型推理概率分布的同时降低多模态大模型推理成本。该方法在 Qwen2.5-VL-7B 上相比 FastV 将采样导致的负向翻转减少 30.3%,并在 10% 和 30% 的保留率下分别维持了基准性能的对应表现,有效解决了剪枝引发的概率漂移问题。
智元AGIBOT正式发布WITA-Omni(硅光动语全模态大模型),这是具身全模态端到端交互大模型,支持音视频、触觉、本体状态等多模态输入以及机器人动作、表情等输出。
Runway AI Inc. 昨日发布了其世界动作模型 Praxis-1,该模型现以 Apache 2.0 开源权重形式向开发者开放,支持商业使用。Praxis-1 是一个拥有 27B 参数的混合专家扩散 Transformer,旨在预测视频与动作,基于 Runway 的视频基础模型构建,强调先理解物理世界再学习行动。
推荐理由:Runway 发布 Praxis-1 世界动作模型,提供 Apache 2.0 权重与推理代码,支持多形态机器人及 NVIDIA 硬件部署。
李飞飞在CoRL 2026会议上介绍World Labs新发布的Atlas模型,这是一个用于生成与重建的统一世界模型。该模型采用多模态自回归扩散Transformer架构,能在多图输入下进行稠密重建、零像素条件下进行纯生成,以及少量视图下的稀疏重建。
大晓机器人发布双脑协同架构(Mundo世界模型+Astra通用模型)与具身RSI技术,用于酒店洗衣场景。Mundo支持物理参数建模以复刻可交互的孪生环境;Astra负责云端推理与技能生成,本地执行脑调用固化技能完成动作。
百度发布文心5.5 Flash Preview(ERNIE 5.5 Flash Preview),总参数2800亿,单次推理激活140亿,支持百万Token上下文及每秒200 Token生成速度。
谷歌 DeepMind 于 11 月 12 日发布新一代视觉 - 语言 - 动作(VLA)模型 Gemini Robotics 2.5,重点提升机器人在复杂环境中的灵巧操作、任务执行可靠性及安全性。
推荐理由:DeepMind 发布 Gemini Robotics 2.5,在奔驰工厂概念验证中实现 96% 分拣成功率,并开放给合作伙伴。
上海 AI 实验室与奉贤区携手推出国内领先科学智能基座“书生·端砚”,聚焦美丽健康产业挖掘线索、生成候选及预测配方三大能力。该平台打通干实验与湿实验形成自迭代闭环,内置可信溯源机制,将助力入驻企业如自然堂、尚美压缩研发周期并降低试错成本。
上海 AI 实验室发布元认知智能体框架书生·太一(Sage·Taiyi),旨在解决科学探索中缺乏持续反馈闭环的问题。该框架通过科学搜索与认知调控协同,将科研猜想、路径与实证串联,驱动智能体在方案生成时动态迭代认知。
推荐理由:上海 AI 实验室推出元认知智能体框架书生·太一,在跨学科科学构思评测中八项指标领先,并已在有机化学、材料设计等领域支撑真实科研闭环。
英伟达在 CoRL 大会上发布新一代世界动作模型 GR00T 2,该模型能同时预测未来画面与机器人动作,支持跨本体技能迁移(如从人类示范或手持设备迁移至机械臂)。
该论文提出了 MMDiff 框架,旨在解决多模态大语言模型内部特征难以识别和控制的难题。研究团队在 LLaVA-MORE、PaliGemma 2 和 InternVL3.5 三个模型家族上训练了多模态稀疏自编码器(SAEs),并通过基线模型与多模态适配版本的差分分析,实现了特征隔离、任务特定检测及因果控制。
该论文提出机械可解释性(MI)需建立严谨的推理逻辑以支持科学发现。作者通过对比神经科学与 MI 进展,识别出从复杂神经网络中推断机制时的瓶颈,并提出了五项原则构成的递归逻辑框架。该框架旨在将局部可解释性结果转化为模型内部的累积机制知识,并使这些机制足够精确以生成关于模型外部领域的可测试假设。材料强调仅凭 MI 证据不足以确立模型机制对世界的揭示,需要额外证据支持。
英伟达在CoRL 2026会议推出开源世界—动作模型GR00T 2系列,包含主打泛化能力的GR00T 2和强调速度的Turbo版本。该模型基于40万小时人类视频训练,支持跨本体迁移、少样本适应及视觉引导规划,在多项灵巧操作与长程任务中取得高成功率。英伟达宣布将全栈开源模型权重、仿真流程SimFoundry、智能体框架ASPIRE及相关硬件设计图纸,旨在降低机器人开发门槛并推动技术落地。
Google DeepMind 正式发布新一代视觉语言动作模型 Gemini Robotics 2.5,该模型在灵巧性、可靠性和安全性方面实现显著提升。相比基线模型,其在多步骤任务中的成功率提升 30% 至 100%,执行速度提高 20% 至 30%。