Orbbec 与 SmartSens 深化战略合作共建物理 AI 视觉基础
2026 年 8 月 20 日,在 World Robot Conference 上,Orbbec 与 CMOS 图像传感器供应商 SmartSens 宣布达成战略合作。
推荐理由:Orbbec 与 SmartSens 宣布深化战略合作,将全球快门 CIS 技术整合进机器人免手持数据采集平台,以支持物理 AI 的高质量数据收集。
技术方向
机器人模型、硬件、学习方法和真实部署;区分仿真、遥操作演示与自主运行。
1,139 条精选近 30 天 643 条共收录 4,549 条
2026 年 8 月 20 日,在 World Robot Conference 上,Orbbec 与 CMOS 图像传感器供应商 SmartSens 宣布达成战略合作。
推荐理由:Orbbec 与 SmartSens 宣布深化战略合作,将全球快门 CIS 技术整合进机器人免手持数据采集平台,以支持物理 AI 的高质量数据收集。
NVIDIA 发布 Cosmos 3 Edge,这是 Cosmos 3 家族中首个专为端侧机器人控制设计的 4B 参数全模态模型(含 2B NVIDIA Nemotron 推理器)。该模型旨在解决世界模型因体积过大难以部署在车载或机器人本地计算硬件的问题,使策略能适配传感器、环境与任务。
推荐理由:NVIDIA 推出 Cosmos 3 Edge,将 4B 参数世界模型压缩至端侧硬件,解决物理交互学习模型的部署难题。
Generalist 发布了最新机器人基础模型 GEN-1.5,该模型在预训练后无需微调即可通过单样本演示(物理提示)即时学习新任务,平均成功率达 59%,经少量梯度步优化后可提升至 83%。模型具备零样本仿真到现实迁移、组合泛化及即兴工具使用能力,支持从人类手部动作直接模仿机器人操作。
推荐理由:该机器人基础模型 GEN-1.5 在预训练后无需微调即可通过单样本演示学习新任务,并具备零样本仿真到现实迁移能力。
奥比中光在 2026 世界机器人大会(WRC)上正式发布“多维感知”新品,包括无机器人数据采集硬件平台和 Physis 系列机器人视觉相机。该平台提供 EGO、UMI、WristCam 及 Hub 四种形态,旨在高效采集真实世界的交互数据,支持规模化部署。
推荐理由:Orbbec 发布无机器人数据采集平台与 Physis 系列相机,提供高可靠多模态数据获取方案以支持物理 AI 训练。
Skild AI 发布旗舰机器人基础模型 S1,该模型专为上下文学习(ICL)构建,无需微调即可仅凭一段视频演示执行长达 10 分钟的未见任务。实验显示,在未见任务上单段演示的 ICL 成功率达 66%,显著优于传统语言提示 VLA;模型具备抗干扰、错误恢复及常识推理能力,且部署时间从数小时缩短至分钟级。
推荐理由:Skild 推出 S1 机器人基础模型,支持通过视频演示实现长时程未见任务的零样本执行与策略修正。
Atlas Energy Solutions 宣布与 Kodiak AI 合作,将其基于物理 AI 的自动驾驶卡车车队从 28 辆扩大至 100 辆,目标于 2027 年中达成。
推荐理由:Kodiak 与 Atlas Energy 宣布将自动驾驶货运车队规模扩大至 100 辆,并计划于 2027 年初在公共道路运营。
Google DeepMind 正式发布 Gemini Robotics ER 2,作为新一代具身推理模型,它支持通过连续视频流进行进度分类与时刻定位(精度达 91.3%),实现毫秒级低延迟的任务编排。该模型原生支持多机器人协作、工具调用及实时空间感知,已在仿真环境及波士顿动力 Spot 等真实硬件上完成演示验证,现通过 Gemini API 和 Google AI Studio 向开发者开放。
推荐理由:DeepMind 发布 Gemini Robotics ER 2,通过视频理解与任务编排提升机器人自主性,并开放 API 接口。
Google DeepMind 正式发布 Gemini Robotics 2,旨在为下一代自适应机器人提供核心智能层。该系列包含三个模型:最先进的全身体视觉语言动作模型(VLA)支持从脚部到指尖的复杂操作;具身推理模型(ER)负责多步任务规划与人类交互;端侧优化模型(On-Device)可在数小时内适配全新机器人本体。
推荐理由:DeepMind 推出 Gemini Robotics 2,提供全身体控制、灵巧操作及多机协作能力,并开放 On-Device 端侧适配与 ASIMOV-Agentic 安全基准。
Momenta 于 2026 年 7 月 27 日在中国江苏苏州相城区推出其 Robovan 业务,这是公司专有 R7 世界模型的最新现实应用。Robovan 已投入夜间跨区快递路线运营,实现全天候无人物流以解决城市供应链“最后一公里”问题。
推荐理由:Momenta 在苏州部署基于 R7 世界模型的无图 Robovan,利用海量量产数据实现全天候无人物流运营。
针对大语言模型在长程交互中因上下文过长导致性能下降的问题,文章提出 ABBEL 框架,将递归摘要任务转化为对自然语言“信念状态”的监督更新。通过引入基于重构的“信念分级”机制,该框架在 CollabBench 协作编程和 Combination Lock 游戏中显著缩小了与全量上下文模型的差距,同时大幅降低峰值 Token 消耗并减少训练步数。
推荐理由:提出 ABBEL 框架,通过监督自然语言信念状态更新解决长程交互中的上下文压缩性能损耗问题。
Generalist 发布最新具身基础模型 GEN-1,该模型在超过五十万小时真实交互数据上预训练,覆盖从五指人手到专用工具等九千多种末端执行器变体。研究通过任务向量分析量化了不同工具的权重更新幅度(2.5%至11.4%),并验证了模型能在中任务切换机械手时即时适应新策略。该工作旨在构建不依赖特定硬件形态的通用物理智能,使机器人能像工具箱一样灵活组合工具完成任务。
推荐理由:GEN-1 基础模型支持多种末端执行器,通过混合数据训练实现跨工具策略迁移与中任务切换适应。
NVIDIA 发布 Isaac for Healthcare 中的开源 GPU 加速医疗物理仿真框架,旨在解决医疗机器人训练数据稀缺瓶颈。该框架结合经典物理与 NVIDIA Cosmos-H Dreams 生成式 AI 物理模拟能力,支持解剖结构、柔性器械(如导管)及传感器输入的并行仿真,可将机器人训练环境从数千个并行运行并大幅缩短训练时间。
推荐理由:NVIDIA Isaac for Healthcare 新增开源 GPU 加速医疗物理仿真框架,支持解剖与器械交互建模及生成式 AI 物理模拟。
Google DeepMind 正式发布 Gemini 3.6 Flash、3.5 Flash-Lite 和 3.5 Flash Cyber 三款新模型。
推荐理由:DeepMind 发布 Gemini 3.6 Flash、3.5 Flash-Lite 及 Cyber 版本,提供具体性能指标与定价以支持规模化 AI Agent 构建。
Xiaomi-Robotics-1 是一款旨在适应陌生环境和快速学习新任务的具身智能基础模型。该团队利用手持机械臂采集了超过 10 万小时的运动数据,并通过 AI 自动标注完成预训练。
推荐理由:小米展示新模型证明在机器人运动训练中,增加数据量比扩大模型规模更能提升泛化性能。
World Labs 宣布收购机器人公司 SceniX,双方将整合在空间智能、世界模型、基于学习的仿真以及闭环现实学习方面的互补技术实力。官方表示未来将分享 SceniX 的早期技术细节及其在具身智能领域的具体应用前景。
推荐理由:World Labs 宣布收购机器人公司 SceniX,旨在整合双方在空间智能、世界模型及仿真学习领域的技术优势以推动具身智能发展。
Orbbec 在上海世界人工智能大会(WAIC)上发布了与蚂蚁集团具身智能公司 Robbyant 合作研发的“无机器人数据采集硬件平台”,核心产品为基于 Gemini 330 系列相机的 EGO RGB-D 头戴式采集设备。
推荐理由:Orbbec 发布面向物理 AI 的无机器人数据采集硬件平台,其深度增强模型在多项基准测试中表现领先。
Genesis World v1.2.2 发布,新增支持噪声选项(迟滞、死区、探针增益)的触觉传感器家族,适用于通过强化学习训练灵巧策略。修复了非凸碰撞检测中的虚假深接触和薄壳穿模问题,并将 noslip 后处理步骤的性能损耗控制在 20% 以内。同时修复了 go2_backflip RL 训练示例及大数据量下的数据访问器回归问题。
推荐理由:该版本修复了触觉传感器与碰撞检测的稳定性问题,并优化了 RL 训练性能。
Orbbec 与蚂蚁集团 Robbyant 深化合作,Robbyant 发布下一代空间感知模型 LingBot-Depth 2.0,该模型已通过 Orbbec 深度视觉实验室认证。
推荐理由:Orbbec 与蚂蚁集团 Robbyant 联合发布经认证的 LingBot-Depth 2.0 深度补全模型,结合 Gemini 330 相机硬件解决透明物体等复杂场景感知难题。
LeRobot 开源框架 v0.6.0 发布,核心更新包括支持想象未来的世界模型策略(VLA-JEPA、LingBot-VA、FastWAM)、新增多款视觉语言动作模型(GR00T N1.7、MolmoAct2 等)以及统一的奖励模型 API(Robometer、TOPReward)。
推荐理由:LeRobot v0.6.0 引入世界模型策略与奖励模型 API,并开放六项新仿真基准及部署 CLI。
Google DeepMind 发布 Nano Banana 2 Lite(gemini-3.1-flash-lite-image)和 Gemini Omni Flash(gemini-omni-flash-preview)。
推荐理由:DeepMind 发布 Nano Banana 2 Lite 与 Gemini Omni Flash,提供高速图像生成与视频编辑能力,支持开发者构建端到端多媒体工作流。