arXiv · 机器人与计算机视觉· Shengtao Wu, Zichao Dong, Weixuan Qiao, Xiaolu Liu, Xin Zhan, Junbo Chen, Jianke Zhu·· 6 天前精选AI 评分82
从基础 VLM 到多功能驾驶 VLM:一种三元组增量训练方法
From Foundation VLM to Versatile Driving VLM: A Triplet Incremental Training Approach
AI 导读
针对将通用视觉语言模型(VLM)适配自动驾驶需大量空间先验或架构重构的难题,本文提出非侵入式的三元组增量训练框架。该方法利用自动构建的图像、深度和问答三元组,通过统一三流训练管线注入 3D 几何感知:主 VLM 流适应驾驶任务,辅助深度流引导视觉骨干网想象场景几何,冻结的双生 VLM 流防止语义漂移。
推荐理由
提出非侵入式三元组增量训练框架,在保留通用 VLM 能力的同时通过辅助深度流注入几何感知,部署时无推理开销。
来源:arXiv · 机器人与计算机视觉 · arxiv.org