提雅智行开源适配多配置的端到端自动驾驶 AI 模型
作为 Autoware 核心推动者,提雅智行宣布开发并开源了多款端到端(E2E)自动驾驶 AI 模型。这些模型基于 Autoware 2.0 架构打造,能够灵活适配从纯视觉到融合激光雷达、雷达及高精地图等多种系统需求与传感器配置,开发者可根据性能挑选合适方案并通过该开发环境集成至车辆系统。
作为 Autoware 核心推动者,提雅智行宣布开发并开源了多款端到端(E2E)自动驾驶 AI 模型。这些模型基于 Autoware 2.0 架构打造,能够灵活适配从纯视觉到融合激光雷达、雷达及高精地图等多种系统需求与传感器配置,开发者可根据性能挑选合适方案并通过该开发环境集成至车辆系统。
VLAN 是一个新的导航基准数据集,包含 1,000 个场景、20K 条导航轨迹和 160K 关键帧,涵盖多样光照与环境条件。该基准针对足式与轮式智能体(含人形机器人与四足机器人)以及视觉或行动障碍人士提供特定主体的动作与可访问性特征,并将日常障碍物分类为可通过、绕行、高风险和阻挡四类。
推荐理由:VLAN 基准提供千人场景与二十万轨迹数据,支持足式、轮式及残障用户等多主体导航评估。
Pocket SDR-NPU 开源项目将 Raspberry Pi 5 与 AX8850 NPU 或 ROCK 5C 内置 NPU 结合,通过分解离散傅里叶变换实现并行代码搜索。相比优化后的 CPU 方案,短码获取速度提升 3.0-3.8 倍,90% 通道锁定时间从 66 秒降至 26 秒,实时处理通道数由约 175 增至约 230。
PoliMop 提出一种利用物理仿真挖掘控制策略技能的运动规划器,通过结合预规划质点路径引导采样,将规划时间缩短最多 63%。该方法在四足、人形及轮式机器人上无需修改底层算法即可实现即插即用,并能自动识别如搭建桥梁等预设环境改造以扩展可达空间。相关代码与视频已公开,论文为 arXiv 预印本状态。
上海AI实验室发布并开源书生科学多模态大模型S2.1 Flash(简称书生-S2.1 Flash),依托统一表征架构支持分子、光谱等多类科学数据输入,融合视觉感知操控科研软件能力。模型在递归式自我改进模式下持续迭代优化,已在CT切片恢复、遥感水域变化量化、航空发动机装配建模检查及脑电伪迹剔除四项任务中验证闭环执行能力,推理成本显著降低且交付可复核的工程文件。
推荐理由:上海AI实验室发布书生-S2.1 Flash,融合科学多模态理解与通用智能体能力,支持在专业软件中执行复杂科研任务并交付可复核的工程文件。
AI 公司 Runway 正式开源其机器人控制模型 Praxis-1,该模型基于视频训练,能预测环境变化并计算机器人动作。材料提供了 Apache 2.0 许可的权重与代码下载入口,报告了其在 RoboLab-120 榜单上的表现及在真实 Franka 机械臂上的任务成功率,同时指出了对特定数据微调的需求及硬件要求。
推荐理由:Runway 开放了基于视频训练的机器人控制模型 Praxis-1,提供 Apache 2.0 许可权重与代码,并报告了在仿真及真实机械臂上的性能数据。
Open Robotics 于 9 月 25 日在多伦多 Google 办公室举办第二届官方会后黑客松,旨在降低首次贡献者门槛并协助核心开发者解决长期挑战。活动覆盖 ROS、Gazebo、Open-RMF、ros-controls 及基础设施五大开源项目,由 OSRA 成员 Intrinsic 赞助午餐并提供现场技术指导。
openJiuwen发布RSI原生AgentOS,为WorkSwarm等应用提供界面、网关与服务端的扩展入口,支持新功能热插拔与版本管理。材料展示了通过对话生成桌宠形态、Token用量监控及团队协作可视化等系统插件的实战流程,并提供了故障回退机制与企业接入适配方案。
论文评估了跨 13 个模型和 28 种设计的 MLLM 验证器,发现其存在严重的‘一致性偏差’(过度认可代理行为)。作者提出 SGV 方法,通过先生成行为先验再基于此进行推理判断,显著提升了失败检测率和准确率。
推荐理由:提出 SGV 方法缓解 MLLM 验证器的一致性偏差,在 OSWorld 等任务中提升完成率达 20pp。
MPPI-Generic 是一款基于 C++/CUDA 的 GPU 加速随机优化库,提供 Model Predictive Path Integral 等三种控制算法实现。该库允许用户通过 API 自定义动力学模型或代价函数而无需修改核心代码,并已在多种 GPU 上验证了实时计算能力。
论文介绍 Canvas Vision Transformer (CanViT),这是首个任务与策略无关的主动视觉基础模型 (AVFM)。该模型利用场景相对 RoPE 结合视网膜视觉骨干网络与时空图景全局潜在工作区,并通过 Canvas Attention 机制实现高效交互。
推荐理由:提出首个任务与策略无关的主动视觉基础模型 CanViT,在低分辨率瞥视下实现优于现有模型的分割精度与推理效率。
针对视频扩散 Transformer(Video DiTs)中注意力机制二次复杂度限制上下文扩展性的问题,本文提出 VMonarch 新机制。该方法利用 Monarch 矩阵表示稀疏时空注意力模式,通过时空因子化显式捕捉帧内与帧间相关性,引入重计算策略缓解交替最小化带来的伪影,并融合在线熵算法实现长序列的快速更新。
针对机器人交互中动力学突然且持久变化的适应难题,论文提出了 AFTER-WM 世界模型。该模型受人类大脑预测编码启发,利用预测误差驱动快速修正(衰减)与慢速修正(持久),并动态调整预训练专家的组合权重而不改变其本身,以平衡响应性、稳定性与持续性。
推荐理由:提出 AFTER-WM,利用快慢时间尺度自适应机制解决动力学突变下的预测误差累积问题。
作者 Tian Xia 提出 Joint Null-Space Projection (JNSP),这是一种将独立微调的检查点合并为多任务模型的闭式方法,无需数据、标签或梯度步。
论文介绍 AURA 2.0,这是一个流式视频大语言模型,具备模型发起对话、流式工具调用和交互式视觉定位等核心升级能力。作者构建了专用数据集并采用三阶段训练方案整合新行为,引入长视界交互记忆以维持上下文连续性。公开基准测试显示其在开源流式模型中表现领先,相关权重与推理代码已开源。
推荐理由:该预印本提出 AURA 2.0,通过模型发起对话、流式工具调用及交互式视觉定位等升级,在开源流式视频大模型中表现领先。
论文提出 Sprint3D 方法,针对 Pixal3D 流水线中网格后处理耗时占比高达 85% 的问题,将其迁移至 GPU 并重构流程,同时将 rectified flows 蒸馏从 76 次评估降至 8 次。
Iris-Z 是一个通用图像生成器,能在同一骨干网络中同时生成外观和几何信息、从照片估计深度以及将图像绘制到给定深度上。该研究验证了统一架构在单目几何任务上的可扩展性,表明其在不增加专用层的情况下,于既定深度基准上超越了最先进专用模型。作者开源了两个版本的模型供社区使用。
论文提出 TRACE 方法,旨在解决现有文本到视频模型在高分辨率下训练成本高且无训练方法细节丢失的问题。该方法通过同步低分辨率与高分辨率的生成轨迹,在去噪早期阶段对齐场景内容,利用低分辨率预测计算高分辨率更新而无需进行高分辨率模型推理。
针对现有视觉语言动作模型在杂乱环境中依赖隐式推断几何关系导致碰撞的问题,本文提出 MOSAIC 框架,通过辅助语义定位任务预测目标、目的地及障碍物的角色掩码,并结合三维重建深度构建几何 token 注入动作专家。
推荐理由:该框架通过引入几何与障碍物感知模块,在杂乱场景中将 VLA 模型的成功率提升 5.1%,相关代码与数据集将在接受后开源。
论文提出了 Open Vision Banana (OVB),这是一种将预训练图像生成器转化为统一多任务感知系统的完全开放且可复现的配方。研究分析了颜色编码、提示设计等关键设计选择对泛化性的影响,并指出这些选择存在交互效应。
推荐理由:作者提出完全开放的生成式视觉感知配方,公开数据集处理与训练代码,复现并超越了闭源基座模型的性能。
该研究利用视频预训练特征结合相机估计与场景聚合,在 CO3D 数据集上对比了全局与空间相机回归配置。结果显示空间相机配置虽降低轨迹误差但深度表现不及恒值中位数深度,联合相对目标优化改善了归一化内参误差却增加了原始 Chamfer 距离。研究强调需分离组件比较以区分表征适应、对齐形状与原始重建效果,代码已开源。
论文介绍了 ARTS 平台,这是一个完全由可购买部件构建的开源三臂系统,用于微创手术自主性研究。硬件包含两个持腕式 da Vinci 器械的 UR5e 机械臂、一个持立体内窥镜的 UR5 机械臂以及独立于软件的硬件停止功能。
Runway AI Inc. 昨日发布了其世界动作模型 Praxis-1,该模型现以 Apache 2.0 开源权重形式向开发者开放,支持商业使用。Praxis-1 是一个拥有 27B 参数的混合专家扩散 Transformer,旨在预测视频与动作,基于 Runway 的视频基础模型构建,强调先理解物理世界再学习行动。
推荐理由:Runway 发布 Praxis-1 世界动作模型,提供 Apache 2.0 权重与推理代码,支持多形态机器人及 NVIDIA 硬件部署。
MiniMax开源了旗舰图像生成模型H3-Image,该模型原生支持16MP(4096×4096)分辨率,推理速度约10-20秒。其核心能力包括去AI味的高保真人脸细节、最多16张参考图输入以维持角色一致性,以及独特的世界理解能力:可自动生成正交三视图和机械爆炸图,甚至能生成包含正确解题步骤的微积分试卷。材料指出该模型已开源且API调用价格仅为竞品50%至70%,首周16MP请求享五折优惠。
Luxonis DepthAI v3.12.1 修复了 OAK4-FFC 单目模块误用彩色驱动的问题,并解决多设备管道因不支持外部帧同步而启动失败及固件崩溃等缺陷。在特定条件下,ToF 场景处理帧率从 12.34 FPS 提升至 30.06 FPS(+144%),同时优化了 macOS 退出时的遥测数据保留机制。该版本已集成测试 Luxonis OS 1.48.0,旧版系统行为保持不变。
UC Berkeley 和 NVIDIA 联合发布开源工具 RoboSimStudio,旨在让 AI 智能体(Agents)在无大量训练数据的情况下编写、模拟并优化机器人程序。
TorchCurves 是 Alex Shtoff 开发的 PyTorch 库,将向量值参数曲线作为可学习原语处理。该库支持 B-spline 或 Legendre 多项式基表示,允许对输入和系数进行联合优化,涵盖从连续特征嵌入到 Kolmogorov-Arnold 网络的应用。GitHub 仓库已开放下载,但代码与权重暂无商用许可说明。
在CoRL 2026期间,RoboSense速腾聚创宣布与BitRobot达成战略合作,双方整合三维感知硬件与分布式采集资源以推动物理AI数据基础设施建设。作为合作成果,BitRobot发布了涵盖餐厅厨房、汽车维修等真实作业场景的RoboCap LiDAR-100数据集,数据采集总规模为100小时。
英伟达在 CoRL 大会上发布新一代世界动作模型 GR00T 2,该模型能同时预测未来画面与机器人动作,支持跨本体技能迁移(如从人类示范或手持设备迁移至机械臂)。
论文介绍 PaGeR(Panoramic Geometry Reconstruction)框架,旨在利用多视图基础模型从全景图像中重建 3D 场景结构。该方法通过最小化架构改动并在训练中混合视角与全景数据,使预训练变换器能够单次前向预测尺度不变深度、度量深度、表面法线和天空掩膜。
针对多模态模型在任务适配后加入拒答机制可能丢失正确答案的问题,本文提出了 ReFrain(无回归拒答)方法。该方法结合首 token 对数概率线性探测、图像簇阈值校准及确定性否决机制,在替换被拒绝输出为“以上都不是”选项的同时保留所有其他响应。
推荐理由:提出 ReFrain 方法,在保持微调增益的同时显著提升不可回答问题的正确拒绝率。
论文提出状态条件不变性(SCI)原则,要求视觉语言模型在保持语义不变的呈现变化下保持稳定,同时能响应改变任务结果的因果干预。作者构建了 GridWM-Judge 基准,利用确定性 MiniGrid 轨迹生成全量、证据移除及反事实变体,结合呈现与表征探测进行诊断评估。
推荐理由:提出状态条件不变性原则,构建基于确定性轨迹的仿真基准以诊断多模态模型作为裁判时的感知与因果敏感性。
RS-JEPA 提出一种仅含 3.88M 参数的紧凑联合嵌入预测框架,在 BEN-14K、CBRSIR-VS 和 DSRSID 基准上实现最高 F1@5(分别为 72.92%、80.35% 和 94.43%)。该方法利用 Vision Mamba 编码器共享及对抗视图耦合机制,在无需人工标签的情况下实现了 SAR-光学与 PAN-多光谱图像的高效跨模态检索。
该论文描述了团队针对 2026 BEHAVIOR 挑战赛提出的解决方案,核心为基于$ ext{\pi}_{0.5}$构建的单一视觉语言动作(VLA)模型,在 OmniGibson 仿真器上完成百项长周期家务任务。
该研究针对世界动作模型(WAMs)需注入低维机器人信号的难题,提出 MetaWAM 方法,将姿态、动作等信号折叠进单一频域通道并通过逆 DCT 提升,无需增加模块即可对齐预训练视频扩散模型的先验。在 RoboCasa 基准上成功率达 68.9%,推理延迟降低 39%;在三项真实 Franka 任务中成功率为 85.0%。代码与模型已公开。
推荐理由:提出 MetaWAM 统一接口,将机器人信号折叠进单一频域通道,无需额外模块即可对齐预训练视频扩散模型的先验分布。
针对遥感灾害评估需可验证证据的挑战,论文提出 DisasterAgent,采用感知 - 增强 - 生成的工作流。该方法首先调用视觉专家工具包构建时空感知图(STPG)作为结构化记忆,随后通过基于证据的增强(EA)从图中提取证据并附加内联引用,形成闭环验证。
推荐理由:提出 DisasterAgent,通过时空感知图与证据增强机制生成可验证灾害报告,在基准测试中显著优于通用 VLM 及遥感专用模型。
DFIO 是一种将误差状态卡尔曼滤波更新阶段直接嵌入计算图的学习框架,旨在解决因传感器噪声和偏差积分导致的无界漂移问题。该方法在独立预训练后,通过可微测量更新联合优化位移和协方差输出头。
论文提出 Topology-preserving Multi-offset Affinity Learning(TMAL)方法,旨在解决曲线性结构(如视网膜血管和表面裂纹)分割中像素级监督无法建模连接、现有拓扑损失产生普通掩码以及基于连通性的方法难以描述大偏移连接的问题。
Maze Runner 是一个开源的自主导航栈,旨在解决稀疏重复几何下的定位、狭窄走廊规划及估计或地图错误时的安全控制问题。该栈在 Gazebo 仿真环境中驱动 Husarion ROSbot XL(配备 2D LiDAR),通过 RANSAC 和总体最小二乘法从扫描中提取带不确定性的墙体线,并分别用于基于地图的扩展卡尔曼滤波定位和在线构建地图的 EKF SLAM。
推荐理由:该工作提出了基于线特征定位与控制屏障函数的自主迷宫导航栈,在仿真中实现了厘米级定位与实时规划控制。
针对 OKS-mAP 无法区分可见/遮挡关键点及忽略关节角误差的盲区,研究者在 COCO、CrowdPose 等四数据集上验证了新协议。实验显示聚合 mAP 高估遮挡场景性能(Delta_occ 为负),且 OneEuro 平滑可将跳变率降低 9-10%。该开源工具包补充而非替代现有指标,代码与权重已开放许可。