AgentWorld:面向自动驾驶的代理中心化视觉语言动作世界模型
针对现有世界 VLA 模型在像素级生成中保留大量无关细节导致性能瓶颈的问题,本文提出 AgentWorld 模型。该模型采用离散代理 Token 联合进行推理与轨迹规划,每个 Token 动态关联周围物体的语义、3D 几何、运动及交互上下文。
推荐理由:提出 AgentWorld 模型,通过离散代理 Token 替代像素级生成,聚焦驾驶场景中的物体交互与动力学以支持规划。
针对现有世界 VLA 模型在像素级生成中保留大量无关细节导致性能瓶颈的问题,本文提出 AgentWorld 模型。该模型采用离散代理 Token 联合进行推理与轨迹规划,每个 Token 动态关联周围物体的语义、3D 几何、运动及交互上下文。
推荐理由:提出 AgentWorld 模型,通过离散代理 Token 替代像素级生成,聚焦驾驶场景中的物体交互与动力学以支持规划。
本文提出一种规则引导的 VLA 框架,将英国公路守则的部分条款形式化为可执行的一阶逻辑规则,结合专家演示监督微调和强化学习优化策略。在 CARLA 仿真器离线评估中,该方法相比仅基于监督学习的基线,显著提升了动作预测准确性和编码规则的合规率,最佳变体将整体规则通过率从 92.9% 提升至 97.6%,且在评估样本中未观察到违反路权优先级检查的情况。
该论文提出 SuperGlance 方法,旨在解决现有视觉语言动作模型(VLA)推理速度慢的问题。作者通过训练 VLM 的隐藏状态直接对固定候选轨迹集进行评分,将其转化为编码器风格的驾驶策略。
NVIDIA在Hugging Face平台发布了Alpamayo 2 Edge模型,该模型拥有20亿个参数,专为DRIVE AGX Thor平台设计以支持10 Hz运行频率。它旨在帮助开发者在车载算力和延迟限制下进行开发,并附带部署方案及评估工具,可用于生成并分析驾驶轨迹及其因果解释。
论文提出 MAPLE 框架,旨在解决视觉语言动作(VLA)模型因传统模仿学习训练导致的闭环评估脆弱性问题。该框架在 VLA 模型的潜在空间内实现反应式、多智能体的动态驾驶场景推演,使自车与周边交通流能独立控制并相互响应,从而支持闭环训练。
推荐理由:提出 MAPLE 框架,在 VLA 模型的潜在空间实现可扩展的闭环多智能体博弈训练,无需外部仿真器。
论文提出了 Generative Scenario Rollouts (GeRo) 框架,旨在解决当前端到端自动驾驶系统过度依赖稀疏轨迹标注模仿学习的问题。该框架将 VLA 模型作为规划器,通过自回归策略联合执行规划与基于语言的未来交通场景生成。
推荐理由:提出 GeRo 框架,利用 VLA 模型进行语言引导的自回归场景生成与规划,在 Bench2Drive 基准上显著提升了端到端自动驾驶的得分与成功率。
小鹏 MONA L03 全系采用纯视觉方案,Max 版搭载单颗图灵芯片(750 TOPS)运行第二代蒸馏版 VLA-Lite,Ultra SE 版配备双图灵芯片(1500 TOPS)出厂自带完整版 VLA。
该论文指出代表性驾驶视觉语言模型(Driving VLAs)存在反事实障碍插入下的盲点规划问题,即车辆出现在前方时轨迹仍不变。研究通过偏差 - 方差分析发现模型依赖 ego 状态和指令的捷径,并提出了一种受逆运动学启发的架构:利用 LLM 预测未来视觉场景提供密集监督,并设计独立的逆运动学网络仅基于当前和未来视觉状态解码轨迹,以抑制对 ego 状态的依赖。
推荐理由:该研究通过逆运动学架构解决了智驾 VLA 模型依赖 ego 状态捷径的问题,仅用摄像头在 NAVSIM 和 nuScenes 上实现了 SOTA 轨迹规划性能。
针对各运营方独立微调导致难以合并的难题,本文提出 DeltaForge,这是据我们所知首个事后混合专家 VLA 架构。该方法利用不同微调更新间的共享结构,通过奇异值分解(SVD)将权重更新拆分为共享部分和极小的域特定部分;路由网络仅需处理这些微小片段而非全量专家权重,从而保持高效。
小鹏、理想、大众安徽和长城四家车企采用视觉语言动作(VLA)架构推出智能驾驶车型,价格带覆盖 10 万到 50 万元。小鹏第二代 VLA 具备记忆 30 秒与推理 6 秒能力,理想马赫 VLA 2.0 支持园区漫游,长城魏牌应用元戎启行方案强化窄路脱困。各车型功能均覆盖车位到车位场景,为 L4 及物理 AI 演进提供路径。
针对视觉语言动作模型在自动驾驶中过度使用思维链导致计算开销大且可能降低规划性能的问题,论文提出了 STEER 策略。该方法无需场景难度标注,通过路由不确定性感知采样和对齐环境奖励的跨路由优势信用分配,实现从直接响应到复杂推理的动态切换。实验表明,STEER 在 NAVSIM v1/v2 基准上兼具高规划质量与高效的推理效率前沿性能。
推荐理由:提出无需场景难度标注的自适应推理策略,通过路由不确定性与环境奖励优化规划性能。
针对端到端自动驾驶中思维链(CoT)推理在简单场景下引入不必要计算开销的问题,本文提出了 AdaThinkDrive 框架。该框架受快慢思考启发,采用双模式推理机制,先在大规模驾驶数据上预训练获取世界知识,再通过监督微调让模型区分需要推理的场景。
推荐理由:提出双模式推理框架,在 Navsim 基准上提升决策质量并降低推理耗时。
长城汽车旗下2027款坦克500于10月23日上市,售价33.5万元起。新车搭载Coffee Pilot 4辅助驾驶系统,采用VLA大模型及Thor-U芯片,配备激光雷达等27个传感器支持自然语言交互。官方称完成296项软硬件优化,并基于超4万个真实越野场景构建数据集以拓展非铺装路况能力。
针对自动驾驶中视觉语言动作模型接收到的离散文本指令难以关联环境约束的问题,该研究提出了因果场景叙述方法,通过在推理阶段进行意图与约束对齐、量化 grounding 及结构化分离来优化输入。
推荐理由:该研究提出在推理阶段重构 VLA 文本输入的方法,在多城镇 CARLA 测试中显著提升了路线完成率,并验证了其对感知噪声的鲁棒性。
针对现有视觉语言动作(VLA)模型因稀疏监督导致关键场景信息被压缩的问题,本文提出“密集思考、稀疏行动”的新范式及 LECDrive 框架。该框架通过注入任务特定的潜变量令牌,将基础视觉模型的视觉表征、语义结构与空间几何知识内化为层级化的专家认知链,并遵循课程学习原则逐步结构化监督。实验表明,该方法在多个自动驾驶基准测试中提升了基座视觉语言模型在物体感知、状态预测和轨迹规划等关键任务上的性能。
针对视觉 - 语言 - 动作(VLA)模型在车载实时推理中参数规模过大导致能耗高、续航受限的问题,本文提出 Scene-Adaptive VLA 框架。该框架利用动态层路由机制,根据场景感知复杂度和决策偏差分配预算,从而调整活跃参数比例并选择适当的层组合。
长城汽车旗下坦克品牌宣布 27 款坦克 500 正式开启预订,提供 Hi4-T、Hi4-Z 及燃油三种动力形式。新车智能驾驶升级为 Coffee Pilot 4.0,基于 VLA 大模型与 Thor-U 芯片,搭载 27 个传感器支持全场景 NOA。官方公布限时权益:3000 元订金可抵 9000 元尾款及至高 12000 元选装权益。
论文提出了 SafeDriveVLA,这是首个将导航遵循与冲突感知结合评估的驾驶视觉语言动作(VLA)基准及模型。该模型通过显式预测三级导航合规模式并利用导航条件化的世界模型进行‘做梦’,以判断严格跟随导航信号是否安全。
Reflect-VLA 模型利用双路径在线自蒸馏技术,将反思引导转化为训练时的特权信息,实现单次推理生成轨迹。该方法在 NAVSIM v1/v2 和 Bench2Drive 基准上展现出具有竞争力的规划性能,同时将训练时间较强化学习减少超过 90%。该研究作为预印本发布于 arXiv,代码与权重尚未开放。
针对现有自动驾驶 VLA 模型仅依赖正样本演示导致鲁棒性不足的问题,本文提出 SpanVLA 模型及 nuReasoning-NR 基准数据集。该数据集包含 3.6 万个推理密集型场景,其中 3000 个次优轨迹和 3000 个专家恢复轨迹。
小鹏集团公布2026年9月交付新车41,256台,第三季度累计交付118,390台。产品端,G9L上市搭载第二代VLA,MONA L03在多个海外市场交付,GX连续多月位列高端SUV销量前三。
Kodiak AI 将视觉语言模型(VLM)集成至其自动驾驶系统,利用文本知识与图像结合以增强对紧急车辆等长尾边缘案例的理解。该技术通过零样本分类与多模态解码器实现类人驾驶行为,使卡车能在未见过的复杂场景中做出精准决策并规划路线。此创新方法无需显式训练即可检测罕见事件(如高速警车),显著提升了感知栈的鲁棒性与适应性。