MM-ABC:面向通用移动操作的看见、协调与想象基础模型
论文提出了 MM-ABC 基础模型,旨在解决移动操作中空间感知与异质臂基协同控制的挑战。该模型结合稀疏多级别视觉语言模型特征进行空间感知;引入仅用于训练的“未来分支”,利用世界想象和几何意图作为额外监督信号以增强感知与操作意图预测;并通过掩码联合注意力及清洁动作 X 预测来协调独立的操作与移动流。
推荐理由:该工作提出 MM-ABC 基础模型,通过视觉、协调与想象机制统一处理移动操作中的感知与控制挑战。
技术方向
世界状态建模、预测、可控生成与交互;区分视觉生成、空间导航和具备物理预测能力的系统。
579 条精选近 30 天 292 条共收录 1,814 条
论文提出了 MM-ABC 基础模型,旨在解决移动操作中空间感知与异质臂基协同控制的挑战。该模型结合稀疏多级别视觉语言模型特征进行空间感知;引入仅用于训练的“未来分支”,利用世界想象和几何意图作为额外监督信号以增强感知与操作意图预测;并通过掩码联合注意力及清洁动作 X 预测来协调独立的操作与移动流。
推荐理由:该工作提出 MM-ABC 基础模型,通过视觉、协调与想象机制统一处理移动操作中的感知与控制挑战。
针对现有多步智能体训练忽略任务间重复子程序的问题,该工作提出从数据本身恢复层级结构并构建可复用经验树(X-Tree)。该方法将常用且成功的技能组合为子技能节点,无需调用大语言模型即可指导高效泛化。研究将其集成至离线强化学习、在线强化学习验证及策略自蒸馏三种训练设置中,在 WebArena、ScienceWorld 和 WebShop 三个基准上实现了显著的性能提升。
推荐理由:该工作从数据中恢复任务层级结构并构建可复用经验树,在 WebArena 等基准上显著提升了多步智能体的成功率。
该论文介绍 ALeWorldModel (ALeWM),这是一种基于联合嵌入预测架构 (JEPA) 的世界模型,旨在将预测信息集中到宽隐表示的紧凑前缀中。作者提出了 MixSIGReg 正则化方法,通过掩码嵌入与高斯活跃前缀及零坐标的混合分布进行约束,促使早期坐标块保留对预测和递归规划有用的信息。
推荐理由:该工作提出自适应隐式容量架构,通过混合正则化将预测关键信息压缩至早期坐标块,在目标条件视觉控制任务中实现优于固定宽度基线的成功率。
论文介绍 NowWAM,一种不依赖未来视觉预测的机器人控制共训练框架,通过去噪当前观测直接耦合生成目标与动作表示。在 LIBERO-Plus 基准上,配合 FLUX2-Klein 模型达到 87.7% 成功率,相比基线提升 6.1 个百分点,同时将训练视觉 token 减半并加速推理。
推荐理由:提出无需未来预测的 NowWAM 方法,在 LIBERO-Plus 基准上提升性能并降低计算开销。
Skild 团队宣布其旗舰机器人基础模型 S1 在 NVIDIA Isaac Sim 中通过自我博弈(self-play)学会了踢球等灵巧动态任务,并在模拟运行约 140 年后成功将策略迁移至人形机器人完成比赛。该研究旨在证明物理自我博弈能推动机器人能力超越人类水平,团队正计划将该方法扩展至更多日常任务及大规模协作场景。
推荐理由:Skild 团队宣布 S1 基础模型通过仿真自我博弈掌握足球等高难度任务,并成功迁移至人形机器人。
地平线联合无问智科发布机器人指令理解与操作评测基准InstructMove,旨在解决机器人仅凭视觉捷径完成任务而忽视语言指令的问题。该基准基于Text-Indispensable原则,在场景中设置多个可操作候选目标,强制模型依赖语言消歧。
推荐理由:地平线发布InstructMove基准,通过多候选目标场景验证语言对动作选择的必要性,并证明仿真数据能提升真机指令跟随能力。
Figure 推出 Helix 2.5,这是其构建的最先进神经网络,旨在解决机器人进入从未见过的家庭即可立即工作的难题。该模型在 Figure 的 Index 全球人类行为数据集上进行预训练,无需在评估环境中收集数据或微调,即可在 30 户未见的湾区家庭中完成整理房间、叠毛巾和铺床三项长周期任务。
推荐理由:Figure 推出 Helix 2.5,基于 Index 数据集实现零样本跨 30 户家庭的全身体自主能力。
上海人工智能实验室在2026浦江创新论坛期间正式发布书生科学多模态大模型S2和书生物理世界模型W0,全面开放书生·端砚科学发现平台全栈服务及本地客户端。书生-S2在长程科研与数学推理基准上表现优异;W0通过原生力触与双工协同支持机器人连续完成精密操作,已接入平台支撑干湿实验闭环。
推荐理由:上海AI实验室正式发布书生科学多模态大模型S2与书生物理世界模型W0,并开放端砚平台全栈服务及本地客户端。
智元今日正式发布第二代感知驱动运动与全身控制框架 AGILE 2.0(AGIBOT Generative Intelligent Locomotion Engine)。
推荐理由:智元发布 AGILE 2.0 框架,将视觉感知直接纳入全身运动控制闭环,支持动态平衡与多机协同。
在2026浦江创新论坛上,上海人工智能实验室升级发布书生·端砚科学发现平台并全面开放全栈服务。该平台接入最新推出的书生科学多模态大模型S2和书生物理世界模型W0,旨在推动AI科研从单任务执行走向可持续、可核验、可复现的完整过程。
推荐理由:上海AI实验室升级发布书生·端砚平台,接入S2多模态大模型与W0物理世界模型,打通从假设提出到真实实验验证的闭环。
上海人工智能实验室发布『书生』物理世界模型W0,旨在为大模型进入物理世界提供支撑。该模型原生融合视觉、力觉和触觉,采用双工协同架构实现输入输出并行处理,并通过异步异频设计让规划与实时行动解耦。
推荐理由:上海AI实验室发布『书生』物理世界模型W0,原生融合力触视觉并采用双工协同与异步异频架构,在双臂湿实验任务中实现93.12%成功率与超低延迟。
智元发布原生世界动作模型 GE-Act 2.0,提供首个关于原生世界动作模型可扩展预训练路径的系统性验证。该模型从随机初始化开始训练所有参数,在零样本评估中展现了随数据规模扩大(300 至 30,000 小时)而涌现的新能力与跨机器人本体的迁移效果。材料介绍了其控制导向自编码器、单步视觉规划及知识对齐选择性优化等架构设计,并指出其与 GE-Sim 共同构成世界模型框架。
推荐理由:智元发布原生世界动作模型 GE-Act 2.0,验证了训练数据规模扩大带来的能力涌现与跨本体迁移路径。
NVIDIA 推出面向 Robotaxi 的全栈开放平台,整合了 DGX 训练计算机、Omniverse/Cosmos 仿真验证计算机及 Hyperion 车端计算架构。
推荐理由:NVIDIA 推出全栈开放平台,提供 Alpamayo VLA 推理模型、Cosmos 世界基础模型及 Omniverse 仿真工具链,支持从训练到车端部署的闭环开发。
Google DeepMind 发布旗舰级气象模型 WeatherNext 3,该模型直接学习实时卫星观测数据而非数值模式,实现每小时更新与最高 5 公里分辨率,降水预测精度较基线提升显著。系统已集成至 Search、Gemini、Maps 等产品,提供清洁能源变量预测及全球高分辨率气象图,支持研究人员通过 BigQuery 和 Earth Engine 查询数据。
推荐理由:DeepMind 发布 WeatherNext 3,利用实时卫星数据实现每小时更新与 5 公里分辨率,显著提升降水预测精度并支持清洁能源变量。
World Labs 发布下一代世界模型 Atlas,这是一个原生操作文本、图像、视频和 3D 数据的 Omni 多模态自回归扩散 Transformer。Atlas 具备相机控制生成(从单图或多图生成任意视角视频)、稀疏视图空间重建(从少量输入图像恢复 2D/3D 几何)以及时空仿真能力,可支持机器人 Real-to-Sim 工作流。
推荐理由:World Labs 推出原生支持文本、图像、视频与 3D 的 Omni 模型 Atlas,具备相机控制生成、稀疏视图重建与时空仿真能力。
在 2026 年世界机器人大会上,Orbbec 与物理 AI 基础设施提供商 Litchi Lab 宣布达成战略合作,旨在通过提供高质量 3D 深度数据和视觉传感器与仿真世界的双向对齐,提升世界模型的训练数据质量。双方将共同开发集成“3D 视觉感知 + 物理世界模型”的解决方案,以加速具身智能和物理 AI 的部署。
推荐理由:双方宣布合作,Orbbec 提供深度相机硬件支持 Litchi Lab 的世界模型训练与双向对齐。
Skild AI 发布旗舰机器人基础模型 S1,该模型专为上下文学习(ICL)构建,无需微调即可仅凭一段视频演示执行长达 10 分钟的未见任务。实验显示,在未见任务上单段演示的 ICL 成功率达 66%,显著优于传统语言提示 VLA;模型具备抗干扰、错误恢复及常识推理能力,且部署时间从数小时缩短至分钟级。
推荐理由:Skild 推出 S1 机器人基础模型,支持通过视频演示实现长时程未见任务的零样本执行与策略修正。
NVIDIA 发布 Cosmos 3 开放世界模型系列,该系列包含 Super、Nano 和 Edge 三个版本,分别针对高保真建模、高效推理及端侧部署优化。模型基于 OpenMDW 1.1 许可,支持在自有数据与硬件上进行后训练,旨在解决物理 AI 中罕见事件复现难与环境多样性不足的问题。
推荐理由:NVIDIA Cosmos 3 以开放权重形式发布,提供从视觉推理到世界生成的统一架构,支持团队在自有硬件上进行后训练与专用化。
NVIDIA 发布了开源的 340 亿参数推理视觉模型 Alpamayo 2 Super。该模型旨在解决自动驾驶开发中轨迹生成、高层意图预测、场景理解及数据标注依赖独立模型导致难以对比输出和复用表征的问题,提供统一的推理能力以支持相关工作流。
推荐理由:NVIDIA Alpamayo 2 Super 作为开源推理视觉模型,旨在统一轨迹生成、意图预测与数据标注任务,解决传统开发流程中多模型割裂导致的行为难以对比与复用的问题。
Google DeepMind 正式发布 Gemini Robotics ER 2,作为新一代具身推理模型,它支持通过连续视频流进行进度分类与时刻定位(精度达 91.3%),实现毫秒级低延迟的任务编排。该模型原生支持多机器人协作、工具调用及实时空间感知,已在仿真环境及波士顿动力 Spot 等真实硬件上完成演示验证,现通过 Gemini API 和 Google AI Studio 向开发者开放。
推荐理由:DeepMind 发布 Gemini Robotics ER 2,通过视频理解与任务编排提升机器人自主性,并开放 API 接口。