Learning to Interact in Multi-Agent Self-Play for Controllable Autonomous Driving Scenario Generation
arXiv 发布了一篇关于自动驾驶场景生成的预印本论文。作者提出了一种扩展的多智能体自博弈框架,通过引入代理相对动态目标(agent-relative dynamic goals),解决了现有基于静态地图位置目标的框架难以生成复杂交互行为(如激进尾随或对抗性切断)的问题。
arXiv 发布了一篇关于自动驾驶场景生成的预印本论文。作者提出了一种扩展的多智能体自博弈框架,通过引入代理相对动态目标(agent-relative dynamic goals),解决了现有基于静态地图位置目标的框架难以生成复杂交互行为(如激进尾随或对抗性切断)的问题。
论文提出了 SWIFT(Slow World, Instant Freshness, and Timely Action),一种部署导向的异步世界 - 动作系统,将世界更新移出感知到动作的关键路径。
论文提出了 WorldDrive 框架,旨在解决现有驾驶世界模型仅关注视觉表征而忽视运动规划需求的问题。该方法通过统一视觉与运动表征,引入轨迹感知的世界模型以生成符合特定意图的未来场景,并将预优化的编码器转移至多模态规划器中。
推荐理由:该工作提出统一视觉与运动表征的端到端自动驾驶框架,通过轨迹条件生成未来场景并蒸馏奖励以优化规划策略。
该论文针对流式方法在车道拓扑推理中存在的初始化查询监督不足及 BEV 边界信息丢失导致时序传播减弱的问题,提出了 DualTopo 框架。该方法通过双并行解码器路径同时监督时序与初始化查询,确保后者作为可靠锚点;并利用基于自车运动的两个潜在世界模型将过去观测的隐状态表征传播至当前时刻。
针对动态城市环境中依赖预定义地图的导航难题,该方法通过大语言模型将非正式指令转化为 Answer Set Programming 逻辑规则,支持无需预设地图的自适应规划。实验表明,LLM 驱动的 ASP 规则生成实现了基于语义的决策与可解释性,其推理过程高度契合人类沟通导航意图的方式。该研究为自动驾驶在复杂场景下的实时适应性与逻辑推演提供了新的形式化知识表示框架。
针对现有世界 VLA 模型在像素级生成中保留大量无关细节导致性能瓶颈的问题,本文提出 AgentWorld 模型。该模型采用离散代理 Token 联合进行推理与轨迹规划,每个 Token 动态关联周围物体的语义、3D 几何、运动及交互上下文。
推荐理由:提出 AgentWorld 模型,通过离散代理 Token 替代像素级生成,聚焦驾驶场景中的物体交互与动力学以支持规划。
该论文针对端到端自动驾驶扩散模型在轨迹初始化、模式评估和监督质量上的依赖问题,提出 FIRE-Drive 框架。该方法通过动态可行锚点初始化、候选特定的鸟瞰图风险证据以及轻量级高质量监督,统一规划目标以优化轨迹生成与模式区分。
论文提出 AR-WAM,一种结合自回归时序建模与单次前向未来条件化的高效流式世界 - 动作模型。其因果视频骨干网络可增量更新视觉上下文并复用过去计算,利用最近观测的未来特征在单次前向传播中增强动态交通泛化能力,并通过强化学习直接优化驾驶奖励。
论文介绍 UNIVERSE,这是一个基于单掩码调制扩散 Transformer 构建的统一视频 - 动作模型,旨在解决部署世界动作模型时昂贵的未来视频生成问题。
该研究在仿真与 Cyber-Physical Mobility Lab 实验中验证,利用跨摩擦条件池化数据可使多步均方根预测误差保持在匹配数据的 1.5 倍以内。闭环追踪结果显示,池化策略在低摩擦轮胎下误差差值为 0.1 cm,高摩擦下为 0.2 cm,实现了无需专用适配方法的变摩擦部分自适应。论文已提交至 2027 年欧洲控制会议(ECC),代码与数据待开放许可。
论文针对无车道线场景(如雪地道路)下的车辆编队行驶问题,提出了一种基于弧长参数化的航迹参考控制框架。研究指出若仅跟随前车会导致误差累积,而结合领航车与前车的航迹可保持误差有界。此外,文章分析了乘客与货物载荷及轮胎刚度变化对曲率前馈系数的影响,并设计了自适应律以在线估计该系数、消除弯道稳态偏移。仿真验证了十一辆车辆编队的控制效果。
推荐理由:该文提出了一种基于航迹参考的编队横向控制方法,通过自适应前馈补偿载荷不确定性带来的稳态偏差,确保任意长度编队的误差有界。
D'BEAST 方法通过回放包含安全或任务事件训练的固定日志,验证了强化学习智能体的决策可由其“不良体验”解释。在 CARLA 闭环驾驶测试中,保留所有更新的 FULL 版本从 40 次启动中达成目标 33 次,而剔除或中和不良体验的版本均失败。局部分析显示,移除少量不良体验(中位数为 1)导致智能体在 46 个决策案例中选择了失效策略的动作。
本文提出一种规则引导的 VLA 框架,将英国公路守则的部分条款形式化为可执行的一阶逻辑规则,结合专家演示监督微调和强化学习优化策略。在 CARLA 仿真器离线评估中,该方法相比仅基于监督学习的基线,显著提升了动作预测准确性和编码规则的合规率,最佳变体将整体规则通过率从 92.9% 提升至 97.6%,且在评估样本中未观察到违反路权优先级检查的情况。
Sen Shen 等人提出一种结合想象策略改进与直接价值及策略校准的世界模型强化学习框架,旨在平衡自动驾驶车辆(AV)的进展与周围人类驱动车辆(HDV)的交互负担。
该论文提出 SuperGlance 方法,旨在解决现有视觉语言动作模型(VLA)推理速度慢的问题。作者通过训练 VLM 的隐藏状态直接对固定候选轨迹集进行评分,将其转化为编码器风格的驾驶策略。
论文提出 MAPLE 框架,旨在解决视觉语言动作(VLA)模型因传统模仿学习训练导致的闭环评估脆弱性问题。该框架在 VLA 模型的潜在空间内实现反应式、多智能体的动态驾驶场景推演,使自车与周边交通流能独立控制并相互响应,从而支持闭环训练。
推荐理由:提出 MAPLE 框架,在 VLA 模型的潜在空间实现可扩展的闭环多智能体博弈训练,无需外部仿真器。
论文提出了 Generative Scenario Rollouts (GeRo) 框架,旨在解决当前端到端自动驾驶系统过度依赖稀疏轨迹标注模仿学习的问题。该框架将 VLA 模型作为规划器,通过自回归策略联合执行规划与基于语言的未来交通场景生成。
推荐理由:提出 GeRo 框架,利用 VLA 模型进行语言引导的自回归场景生成与规划,在 Bench2Drive 基准上显著提升了端到端自动驾驶的得分与成功率。
现有自动驾驶数据缺乏对风险前兆与应对措施的关联标注。本文介绍 PotentialRiskQA 数据集,提供场景证据、潜在风险及缓解动作的结构化注释;基于此训练 PR-Reasoner 模型,通过多任务监督提升场景理解、风险认知与行动质量,减少无依据的风险推断。消融实验表明中间推理步骤的监督进一步降低错误推断并改善行动质量;在 NAVSIM 上的表征学习提升了开环规划性能。
论文 ForeseeDrive 提出将未来场景演化转化为可部署的接口以塑造候选轨迹生成,而非重建密集状态或评分固定菜单。该方法从日志中提取查询索引 Token(涵盖演员运动、占用演变、路线交互及 TTC 裕度),并在部署时基于当前上下文预测同一 Token 空间以条件化轨迹几何。
针对端到端自动驾驶中候选轨迹评估难以捕捉延迟失败和尾部风险的挑战,本文提出 RiSE-Drive 框架。该方法先进行条件潜变量未来展开,再估计长视界结果分布而非单一标量分数,最后利用感知尾部风险且对扰动鲁棒的决策准则对候选项排序。在 NAVSIM-v1、NAVSIM-v2 及闭环 HUGSIM 基准上的实验表明,RiSE-Drive 实现了最先进性能并显著提升了候选选择的鲁棒性。
该研究提出 When2Go 系统,通过共享意图和构建路线时间冲突图来解决协同自动驾驶中的死锁与碰撞风险。系统在 V2Xverse、InterDrive 等基准上取得优于现有方法的驾驶得分与无碰撞率,但仅基于仿真环境测试,未涉及真实车辆部署或路测许可。
推荐理由:提出共享意图的协同端到端系统,在封闭回路基准上超越现有方法并解决死锁问题。
论文提出 Latent-WAM++,一种面向端到端自动驾驶的以表征为中心的世界动作模型(WAM)。该方法通过场景 - 自车未来预测、SIGReg 分布稳定化及冻结几何先验构建世界表征;利用改进的 MeanFlow 速度空间目标直接预测多模态轨迹提议并实现一步采样;同时对齐视觉语义衍生的停止梯度目标以优化预输出动作特征。
推荐理由:该工作提出 Latent-WAM++,通过重塑中间表征监督与冻结几何先验,在 NAVSIM v2 实现 SOTA 性能并将端到端规划器训练成本降低 88.1%。
论文提出 INTERACT(Interaction-Aware Action-Conditioned Trajectory learning)框架,旨在解决端到端驾驶模型中对象级交互隐含的问题。
论文针对交互式交通中不可观测的人类特征及多智能体互动的互惠性,提出统一信念空间模型预测控制框架,将信息清晰度作为显式规划变量与安全性规范协同设计。该方法在车道汇入和无信号灯路口场景中,相比代表性基线方法,在 5000 次仿真中取得最高成功率(94.6% 和 93.2%)及最低碰撞率(1.2% 和 1.4%)。材料为预印本,已提交至 ICRA 2027。
论文提出了 DriftingPlanner,这是一种基于漂移损失训练的轨迹规划器,无需坐标回归项即可通过一步推理解码自车轨迹。该方法将类条件图像生成的漂移技术迁移至规划场景,利用每场景的吸引 - 排斥场机制,在 NAVSIM navtest 基准上实现了 93.75 PDMS 的最优性能,其单步推理结果与最佳扩散或流匹配设置(需十步推理)仅差 0.13 PDMS。
推荐理由:提出 DriftingPlanner,通过训练端一步生成器实现端到端轨迹规划,在 NAVSIM navtest 上达到 SOTA 性能。
智己 LS8 NEO 于 10 月 29 日开启预售,全系标配宁德时代定制高品质电池及 Momenta 世界模型赋能的全域物理 AI。新车提供 93kWh 和 103kWh 两款电池版本,CLTC 续航分别达 684 公里和 752 公里,百公里电耗低至 15.2kWh。双大厂协同实现了低温 SOC 估算精度提升至 2%-3%、15 分钟补能 529 公里及全系标配全线控灵蜥底盘等越级配置。
该论文提出 SV-WAM,旨在解决现有世界模型因生成未来视频导致推理开销大、常被迫仅用单前向摄像头的局限。方法利用未来视频预测作为训练监督而非推理输出,通过动作中心因果掩码防止动作 token 关注未来视频 token,使部署时可丢弃视频分支实现高效规划;同时引入可微驾驶区域合规正则器以增强安全与边界感知。
推荐理由:SV-WAM 利用未来视频预测作为训练监督而非推理输出,结合因果掩码与可微合规正则器,在保持六路摄像头输入的同时实现低延迟规划。
大众汽车集团(中国)在合肥举办技术日,正式发布本土自研一体化技术矩阵“VEGA”,涵盖CMP/CSP整车平台、CEA区域控制架构及酷睿程HS8智驾方案。官方披露基于C-Brain AI工具链可将软件测试效率提升36倍,问题修复时间缩短至20分钟;智驾侧利用GAIA2.0世界模型进行每日500万公里仿真测试。
该论文针对隧道和矿井等受限空间中烟雾、粉尘导致雷达测距图不准的问题,提出 KEPT 方法。该方法利用无标签严重度估计对保形预测产生的禁区(keepout)进行条件化约束,在规划和控制层强制执行制动距离条件,仅以测量到的跟踪残差作为余量且不修改禁区边界。系统在基于地面机器人烟雾录像的验证和雾中隧道四旋翼飞行闭环仿真中表现优于标准部署模式,减少了进入校准禁区的次数并达到了更多数值目标。
论文针对自动驾驶在新城市部署成本高、需大量人类演示数据的瓶颈,提出 NOMAD(No data Map-based self-play for Autonomous Driving)方法。
推荐理由:提出 NOMAD 方法,利用自博弈强化学习仅凭地图信息实现跨城市策略迁移,无需目标城市的人类演示数据。
该论文提出 AlignDrive 框架,通过级联设计将纵向规划从独立预测任务转化为基于路径的条件推理过程。模型侧引入锚点回归设计以条件化纵向预测并降低几何不确定性;数据侧采用规划导向的数据增强策略模拟罕见安全关键事件。
推荐理由:提出级联框架将纵向规划转化为路径条件推理,在 Bench2Drive 基准上实现 SOTA 性能并显著改善协调性与安全性。
arXiv 发布 DA-WAM,一种耦合联合嵌入预测架构与候选轨迹评分的决策对齐世界动作模型。该方法在联合训练中利用观测场景动力学锚定未来表示,并通过规划目标捕捉安全与效用相关的区分特征;引入动作条件化预测器为每条候选轨迹生成独立潜变量,配合多头轨迹评分器估计规划因素与整体效用;通过硬负样本的安全关键后训练进一步提升几何相似但结果不同轨迹的判别能力。
研究通过受控评估发现,在 HighwayEnv 测试床(1Hz, gpt-4o-mini)上,经验记忆的收益主要源于最佳预热池抽取,而非检索机制本身。仅含 15 token 的谨慎指令即可达到碰撞合并上限,且基线端口质量缺失会导致结论反转。团队已发布经审计的测试床、端口及缓存数据供验证。
针对现有视觉语言动作(VLA)模型因稀疏监督导致关键场景信息被压缩的问题,本文提出“密集思考、稀疏行动”的新范式及 LECDrive 框架。该框架通过注入任务特定的潜变量令牌,将基础视觉模型的视觉表征、语义结构与空间几何知识内化为层级化的专家认知链,并遵循课程学习原则逐步结构化监督。实验表明,该方法在多个自动驾驶基准测试中提升了基座视觉语言模型在物体感知、状态预测和轨迹规划等关键任务上的性能。
论文提出 QualiDrive 方法,将端到端自动驾驶中的轨迹生成沿驾驶质量轴而非高斯噪声轴进行扩散。该方法通过构建场景特定的质量阶梯,根据测得的驾驶效应对观测到的轨迹排序,并学习通过有序的低质到高质细化来逆转这种退化。
推荐理由:提出沿驾驶质量轴进行扩散的 QualiDrive 方法,在 NAVSIM 上实现 SOTA EPDMS 并显著提升高分候选比例。
论文提出 FutureLift,一种与骨干网络无关的运动预测细化器,将多模态轨迹提议表示为包含时空节点的未来图,利用双向时间边在单次遍历中用后续证据修正早期段。
该研究构建了基于 AMD Kria KR260 嵌入式 FPGA 的相机端 3D 占用网络前端 FALCON,通过可编程逻辑计算与看门狗机制实现了每帧 100ms 以内的确定性延迟保证。
针对现有运动预测方法缺乏对现实世界法规与行为约束显式编码的问题,该研究提出了一种名为 TraCS 的神经符号框架。TraCS 利用代理代码生成管道连接自然语言交通法规描述与概率运动预测,并采用反应式数据流推理引擎动态更新合规景观。
推荐理由:该工作提出神经符号框架 TraCS,在 Argoverse 2 基准上验证了将交通法规逻辑融入运动预测的有效性。
论文提出了 SafeDriveVLA,这是首个将导航遵循与冲突感知结合评估的驾驶视觉语言动作(VLA)基准及模型。该模型通过显式预测三级导航合规模式并利用导航条件化的世界模型进行‘做梦’,以判断严格跟随导航信号是否安全。
该研究探讨感知不确定性信息是否有助于自动驾驶智能体在代理任务中的决策。实验通过在观测空间引入扰动并告知智能体,发现其会从激进转向防御性驾驶;直接提供当前不确定性信息后,智能体能更快完成任务并兼顾风险规避。论文为预印本,代码与数据未开放,适用于计算机视觉与机器人领域。