跳到正文
arXiv · 机器人与计算机视觉· Xin Zhou, Dingkang Liang, Xiwu Chen, Feiyang Tan, Dingyuan Zhang, Hengshuang Zhao, Xiang Bai·· 29 天前精选AI 评分78

HERMES++:面向三维场景理解与生成的统一自动驾驶世界模型

HERMES++: Toward a Unified Driving World Model for 3D Scene Understanding and Generation

AI 导读

针对现有方法侧重未来生成而忽视三维理解、大语言模型缺乏几何演化预测能力的差距,该研究提出 HERMES++ 统一驾驶世界模型。通过鸟瞰图表示整合多视角信息、LLM 增强世界查询促进知识迁移、当前到未来链接桥接时间差以及联合几何优化确保结构完整性,该方法在多个基准测试中表现优于专用方法,同时实现未来点云预测与三维场景理解任务的高性能。论文已被 IEEE TPAMI 接收,代码与模型将公开。

推荐理由

该工作提出统一框架融合三维场景理解与未来几何预测,填补语义解释与物理模拟间的差距。

来源:arXiv · 机器人与计算机视觉 · arxiv.org