跳到正文
arXiv · 机器人与计算机视觉· Jingjun Yi, Chen Hu, Qi Bi, Hao Zheng, Huimin Huang, Yongkang, Wei Ji, Yawen Huang, Xian Wu, Yefeng Zheng·· 16 天前精选AI 评分82

Lie Routing Vision Language Models for View-Robust 3D Understanding

Lie Routing Vision Language Models for View-Robust 3D Understanding

AI 导读

该论文针对多模态大语言模型在多视角 RGB 观测中存在的“视角诱导的语义漂移”现象,提出了 LieVLM 框架。该方法通过提取几何 token 预测局部旋转参数和路由系数,利用封闭形式的 Padé--Cayley 映射对投影视觉特征进行身份相对校正并门控回原特征,从而在保留预训练语义与直接空间上下文的同时学习视角依赖的特征调整。

推荐理由

提出 LieVLM 框架,利用李群路由机制解决多视角语义漂移问题,在多项 3D 理解任务上优于传统融合方法。

来源:arXiv · 机器人与计算机视觉 · arxiv.org