跳到正文
arXiv · 机器人与计算机视觉· Hao Vo, Phu Loc Nguyen, Khoa Vo, Sieu Tran, Duc Minh Nguyen, Ngo Xuan Cuong, Nghi D. Q. Bui, Anh Nguyen, Duy Minh Ho Nguyen, Ngan Le·· 24 天前AI 评分65

OmniSpace:面向自动驾驶车辆的几何感知高效 MLLM 方法

OmniSpace: Efficient Geometry Awareness for Autonomous Vehicles MLLMs

AI 导读

针对自动驾驶车辆中多模态大语言模型(MLLM)空间智能不足的难题,本文提出 OmniSpace 范式。该方法通过相机姿态注入、多视角极线注意力模块及三维几何蒸馏目标,将几何知识直接融入模型以解决跨视图对应与深度估计瓶颈。实验表明,OmniSpace 在 nuScenes、Bench2Drive 等规划基准及风险检测任务上优于现有方法。

来源:arXiv · 机器人与计算机视觉 · arxiv.org