OpenCV Live! 第 223 期:Luxonis 演示野外高精度相机标定
OpenCV Live! 第 223 期特邀 Luxonis 展示解决计算机视觉中相机标定的痛点,由首席视觉官 Cenek Albl 演示如何在野外复杂环境下实现高精度标定。该演示旨在帮助用户明确标定起点并判断何时完成校准工作,直接回应了从业者在实际应用中的核心需求。
OpenCV Live! 第 223 期特邀 Luxonis 展示解决计算机视觉中相机标定的痛点,由首席视觉官 Cenek Albl 演示如何在野外复杂环境下实现高精度标定。该演示旨在帮助用户明确标定起点并判断何时完成校准工作,直接回应了从业者在实际应用中的核心需求。
百度萝卜快跑携最新全球化成果亮相北京第十八届国际交通展,宣布拿下香港首个全无人驾驶测试牌照并在机场岛开展车内无安全员测试。全球布局方面,其在伦敦联合Uber、Lyft启动公开道路测试,在迪拜接入Uber实现双平台叫车,并首次进入中亚市场与哈萨克斯坦签署协议。
Orbbec 与具身智能公司 PsiBot 宣布建立战略合作伙伴关系,联合开发集成的软硬件数据收集解决方案以加速物理 AI 应用部署。双方将整合 Orbbec 的 Robot-Free Data Collection Hardware Platform 与 PsiBot 的 Psi-SynEngine 引擎,覆盖从前端采集到后端管理的全流程工作流。
Google DeepMind 今日在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 模型中推出代理式视频理解(agentic video understanding)功能。
推荐理由:DeepMind 在 Gemini Flash 系列中引入代理式视频理解,通过动态检索与多模态分析显著降低长视频处理成本并提升精度。
面对大模型推理中延迟目标、模型选择与预算约束的挑战,NVIDIA 提供方法指导组织自信地 sizing GPU 资源并优化总拥有成本(TCO)。该指南旨在帮助企业在复杂的流量模式下避免过度支出,解决从聊天机器人到内容生成等 AI 应用中的资源配置痛点。
World Labs 发布下一代世界模型 Atlas,这是一个原生操作文本、图像、视频和 3D 数据的 Omni 多模态自回归扩散 Transformer。Atlas 具备相机控制生成(从单图或多图生成任意视角视频)、稀疏视图空间重建(从少量输入图像恢复 2D/3D 几何)以及时空仿真能力,可支持机器人 Real-to-Sim 工作流。
推荐理由:World Labs 推出原生支持文本、图像、视频与 3D 的 Omni 模型 Atlas,具备相机控制生成、稀疏视图重建与时空仿真能力。
NVIDIA Omniverse NuRec 解决同一感知软件移植至不同车线时因传感器布局、标定及车身几何差异导致的感知变化问题。该技术通过统一处理视野遮挡与时序覆盖等变量,确保交通灯等目标在不同车辆平台上的检测一致性。
文远知行宣布入选港交所科技 100 指数,该调整基于 2026 年 8 月 18 日生效的新方法论,将于 9 月 14 日正式实施。公司 L4 Robotaxi 业务覆盖全球 13 国 60 城,拥有约 3400 辆车队;WRD 3.0 ADAS 方案已量产交付超 3 万台并获 30 余款车型定点;2026 年第二季度营收达 3420 万美元。
推荐理由:文远知行入选港交所科技 100 指数,其 L4 Robotaxi 全球运营网络与 WRD 3.0 ADAS 量产交付共同支撑了公司在物理 AI 领域的商业化进展。
英伟达推出 TensorRT Model Connect,通过两行命令即可将开源模型从检查点直接部署为原生 C++ 推理服务。该参考实现集合消除了模型特定的转换、预处理及运行时代码需求,支持在 NVIDIA TensorRT 上运行兼容模型。此举显著降低了将快速演进的开源 AI 模型集成至原生应用的工程门槛与开发成本。
Google DeepMind 发布 Gemini Omni 1.1 Flash,支持分析最多 10 秒上下文以生成累计长达 40 秒的连续视频,并实现首尾帧插值与最高 4K 分辨率输出。360p 预览版推理速度较标准 720p 快约 60%、成本降低三分之一,适用于快速原型迭代。该模型今日起通过 Gemini API 在 Google AI Studio 及全球订阅者中开放使用。
Boston Dynamics Atlas 维修团队负责人 Mark DiLeo 在访谈中分享,作为负责修复从未存在过故障的“机器人外科医生”,团队能在 1-2 小时内将严重受损(如双腿断裂)的原型机 R1 或专为快速维护设计的量产版 D1 恢复至做后空翻状态。
Google DeepMind 联合新加坡 AI 安全研究所等伙伴,首次在加密“盒子”内对 Gemini Flash Lite 进行双盲评估,防止模型提前窥探考题。该方案通过引入密码学保障措施解决基准污染问题,确保业界能信任基准分数真实反映模型能力与安全性。
NVIDIA NVLink Fusion 技术旨在为支持超大模型与复杂推理任务的 AI 工厂提供高带宽内存(HBM)及足够的封装硅片面积,以应对计算需求。该技术通过定制加速器部署方案,解决大规模算力集群的喂料瓶颈问题。目前相关细节源自 NVIDIA Technical Blog 关于下一代基础设施的技术阐述。
NVIDIA Technical Blog 发布指南,详述如何利用 AI Agents 训练支持连续定位、环境解读及避障的跨具身机器人导航策略。该方法旨在解决将感知与运动能力迁移至新机器人与场景时所需的新数据及仿真资产挑战,为构建通用自主导航提供技术路径。
Torc 利用最新一代车辆与执法、消防及急救部门合作,在测试场采集高质交互数据以增强 AV 3.0 软件对紧急车辆的感知与响应能力。仿真环境基于实测数据生成数千种排列组合,进一步提升了模型应对复杂紧急情况的能力。此举旨在扩大数据集多样性,确保自动驾驶系统在多变现实场景中安全可靠运行并建立公众信任。
Kodiak 宣布与 AMD 合作,在其第七代自动驾驶卡车平台上部署 AMD EPYC™系列处理器,成为首家将此类先进 CPU 用于无人驾驶卡车的公司。该升级旨在提升传感器数据处理、定位及路径规划等关键任务的性能与能效,以支持日益复杂的物理 AI 工作负载。Kodiak 目前已在 Permian Basin 地区运营无驾驶员卡车,计划今年晚些时候在公共道路上推出无人驾驶卡车。
奥比中光与拓山科技签署战略协议,将整合 Orbbec 免机器人数据采集硬件与 TS-ECHO 数据传感手指,共同研发面向具身智能的视觉 - 触觉融合解决方案。双方将在产品定制、市场拓展及客户支持上深化合作,旨在为物理 AI 模型训练提供更丰富的多模态数据维度。
OpenCV Live 播客介绍由 Intrinsic 和夏威夷大学作者提出的 3D-Object Perception Transformer(3PT),该架构将检测、分割和 6DoF 位姿估计统一为两个仅用 RGB 的多视图 Transformer。
推荐理由:OpenCV Live 播客介绍 3PT 架构及其在 BOP 2025 竞赛中的表现,并分享从基准测试到工业部署的工程经验。
Figure 正式推出 Index,这是全球最大的多样化机器人训练数据集,数据源自全球超过 108 个国家的创作者上传的真实任务视频。该数据集包含 373 个独特任务、1,146 个被操作物体和 116 种环境,涵盖从家务到工业场景的长尾分布。Figure 计划在未来 12 个月投入超过 10 亿美元用于数据与计算,以支持其 Helix AI 栈的训练与泛化能力。
推荐理由:Figure 正式发布 Index 数据集,通过全球创作者网络收集了海量真实物理交互视频,旨在解决机器人泛化难题并支撑 Helix 栈训练。
NVIDIA Vera Rubin 和 Blackwell 架构为智能体 AI 性能每瓦特设定了新基准。基于 100 万亿 token 的真实使用数据,OpenRouter 报告显示平均提示词 token 数量增长约四倍,反映了从单轮交互向多步工作流的扩展。该成果展示了在复杂推理、工具调用及子智能体协调任务中能效的显著提升。
NVIDIA BlueField-4 处理器为连接多用户、智能体及应用的数据密集型智能体 AI 工厂提供关键的网络基础设施支持。该架构通过专用 DPU 处理实现服务器级太比特带宽下的线速网络、存储与安全加速,解决了传统云设施难以满足的通用负载需求。此方案旨在支撑大规模计算环境中的高效互联与数据处理。
NVIDIA Vera CPU 专为处理不可预测的智能体负载而设计,在 GPU 运行模型时负责编排、工具执行及沙箱计算。该处理器通过高效转换电力与资本来优化"AI 工厂”整体栈的经济性,应对传统稳定运行时轮廓无法覆盖的波动需求。
在 2026 年世界机器人大会上,Orbbec 与物理 AI 基础设施提供商 Litchi Lab 宣布达成战略合作,旨在通过提供高质量 3D 深度数据和视觉传感器与仿真世界的双向对齐,提升世界模型的训练数据质量。双方将共同开发集成“3D 视觉感知 + 物理世界模型”的解决方案,以加速具身智能和物理 AI 的部署。
推荐理由:双方宣布合作,Orbbec 提供深度相机硬件支持 Litchi Lab 的世界模型训练与双向对齐。
随着 AI 智能体能力增强且运行周期延长,英伟达联合 OpenShell 及生态伙伴提出将安全信任融入应用架构。英伟达安全团队解析了新兴智能体栈各层级的角色与安全职责。该观点源自 NVIDIA Technical Blog 关于构建可信智能体应用的最新技术讨论。
NVIDIA AVO 系统在 ARC-AGI-3 基准测试中实现 100% 通过率,证明其作为长周期自主智能体架构的前沿水平。该成果表明,除前沿语言模型外,负责上下文管理、工具调用及故障恢复的代理系统(harness)对确保模型在扩展任务中的可靠运行至关重要。
Google DeepMind 发布 SIMA 2 通用游戏智能体,依托 Gemini 模型在无 API 访问下于 EVE Online、No Man's Sky 等复杂 3D 环境中实现类人游玩与实时对话。
Kodiak AI 与其客户 Atlas Energy Solutions 合作发布了可在 Permian Basin 运营的可牵引三挂拖车(triples)的自动驾驶货运技术,这是该公司的行业首创。
推荐理由:Kodiak 发布能牵引三挂拖车的自动驾驶技术,通过感知、规划与控制系统的升级解决长车距与动力学挑战。
Google DeepMind 发布 MuJoCo 3.12.0,核心更新包括新增支持位置/速度设定值及前馈输入的 PID 控制器和重新设计的直流电机控制器。引擎层面优化了大网格凸碰撞检测速度与柔体块求解器收敛性,并修复了盒盒碰撞穿透与近奇异面裁剪导致的接触失效问题。
推荐理由:DeepMind 发布 MuJoCo 3.12.0,新增 PID 与直流电机控制器、优化碰撞检测及纹理加载规范。
2026 年 8 月 20 日,在 World Robot Conference 上,Orbbec 与 CMOS 图像传感器供应商 SmartSens 宣布达成战略合作。
推荐理由:Orbbec 与 SmartSens 宣布深化战略合作,将全球快门 CIS 技术整合进机器人免手持数据采集平台,以支持物理 AI 的高质量数据收集。
NVIDIA Holoscan 是构建从医学影像到机器人等边缘端实时 AI 应用的平台,其配套仓库 HoloHub 收录了参考应用与组件。团队探索通用编码代理如何利用现有示例、文档及开发工具辅助工程师工作。
针对视觉语言模型(VLM)适配数据分散于各机构无法集中的问题,NVIDIA 提出利用联邦学习协调跨站点训练。该方案旨在解决原始记录难以汇聚的挑战,支持在保持数据本地化的前提下构建多模态 AI 工作流。
NVIDIA SkillEvaluator 通过量化指令、示例及工具引导等上下文,解决智能体在寻找工具或处理专项任务时的低效问题。该方案旨在衡量技能包如何帮助 AI Agent 从意图到解决方案的移动速度,提升整体执行效能。
NVIDIA 发布 Cosmos 3 Edge,这是 Cosmos 3 家族中首个专为端侧机器人控制设计的 4B 参数全模态模型(含 2B NVIDIA Nemotron 推理器)。该模型旨在解决世界模型因体积过大难以部署在车载或机器人本地计算硬件的问题,使策略能适配传感器、环境与任务。
推荐理由:NVIDIA 推出 Cosmos 3 Edge,将 4B 参数世界模型压缩至端侧硬件,解决物理交互学习模型的部署难题。
Generalist 发布了最新机器人基础模型 GEN-1.5,该模型在预训练后无需微调即可通过单样本演示(物理提示)即时学习新任务,平均成功率达 59%,经少量梯度步优化后可提升至 83%。模型具备零样本仿真到现实迁移、组合泛化及即兴工具使用能力,支持从人类手部动作直接模仿机器人操作。
推荐理由:该机器人基础模型 GEN-1.5 在预训练后无需微调即可通过单样本演示学习新任务,并具备零样本仿真到现实迁移能力。
Momenta 联合 XHEART 与 QNX 发布基于 QNX SDP 8.0 的量产级自动驾驶平台,集成 Momenta 全栈算法、XHEART X7 车规 SoC 及 QNX 功能安全操作系统。该平台通过 ISO 26262 ASIL D 认证并符合欧洲 UN R171 (DCAS) 要求,旨在帮助车企加速部署并满足全球严苛市场的功能安全标准。
推荐理由:Momenta 联合 XHEART 与 QNX 推出符合 ISO 26262 ASIL D 标准的量产级智驾平台,为车企提供面向严苛市场的功能安全基础。
奥比中光在 2026 世界机器人大会(WRC)上正式发布“多维感知”新品,包括无机器人数据采集硬件平台和 Physis 系列机器人视觉相机。该平台提供 EGO、UMI、WristCam 及 Hub 四种形态,旨在高效采集真实世界的交互数据,支持规模化部署。
推荐理由:Orbbec 发布无机器人数据采集平台与 Physis 系列相机,提供高可靠多模态数据获取方案以支持物理 AI 训练。
NVIDIA ALCHEMI 工具包通过集成 AI 编码智能体,显著降低了原子尺度模拟的门槛。该方案将科学认知、计算高效实现及可访问接口三者结合,让研究者无需替代其专业知识即可调用模拟栈。此发布旨在加速材料科学领域的仿真工作流,具体实验条件与部署范围需参考官方技术文档。
Skild AI 发布旗舰机器人基础模型 S1,该模型专为上下文学习(ICL)构建,无需微调即可仅凭一段视频演示执行长达 10 分钟的未见任务。实验显示,在未见任务上单段演示的 ICL 成功率达 66%,显著优于传统语言提示 VLA;模型具备抗干扰、错误恢复及常识推理能力,且部署时间从数小时缩短至分钟级。
推荐理由:Skild 推出 S1 机器人基础模型,支持通过视频演示实现长时程未见任务的零样本执行与策略修正。
8 月 18 日,奥比中光与全球灵巧手领导者 Linkerbot 宣布建立战略伙伴关系,联合开发具身智能领域的基准级“眼手协同”产品与方案。双方旨在将视觉感知与灵巧操作从独立能力推向深度集成,通过结合奥比中光的机器人视觉传感器组合与 Linkerbot 覆盖腱驱动、连杆驱动及直驱技术的灵巧手优势,构建硬件 - 数据 - 算法一体化基础以加速具身智能落地。
文远知行 CEO 汉瑞在 CNBC 访谈中披露,公司 2026 年第二季度营收达 3420 万美元,同比激增 82.2%,毛利率提升至 37.5%。公司依托高效大语言模型 GENESIS 和 WITT 降低成本,并强调与宇通、博世及 Uber 等战略伙伴在全球 13 国超 60 城业务的稳健扩展。