跳到正文
arXiv · 机器人与计算机视觉· Shengtao Wu, Zichao Dong, Weixuan Qiao, Xiaolu Liu, Xin Zhan, Junbo Chen, Jianke Zhu·· 6 天前精选AI 评分82

从基础 VLM 到多功能驾驶 VLM:一种三元组增量训练方法

From Foundation VLM to Versatile Driving VLM: A Triplet Incremental Training Approach

AI 导读

针对将通用视觉语言模型(VLM)适配自动驾驶需大量空间先验或架构重构的难题,本文提出非侵入式的三元组增量训练框架。该方法利用自动构建的图像、深度和问答三元组,通过统一三流训练管线注入 3D 几何感知:主 VLM 流适应驾驶任务,辅助深度流引导视觉骨干网想象场景几何,冻结的双生 VLM 流防止语义漂移。

推荐理由

提出非侵入式三元组增量训练框架,在保留通用 VLM 能力的同时通过辅助深度流注入几何感知,部署时无推理开销。

来源:arXiv · 机器人与计算机视觉 · arxiv.org