跳到正文
arXiv · 机器人与计算机视觉· Ruimeng Liu, Denan Liang, Ruofei Bai, Fuming Zhang, Kuan Xu, Shenghai Yuan, Lihua Xie·· 8 天前AI 评分73

PhysMoE:基于单 Token 坐标表示的模态解耦视觉语言模型空间定位方法

PhysMoE: Fast Spatial Grounding with Single-Token Coordinate Representation in Modality-Decoupled VLMs

AI 导读

该论文提出 PhysMoE 框架以解决具身视觉语言模型(VLM)在坐标预测任务中的离散化延迟与多接触适配难题。其核心贡献包括共享底层多模态上下文、利用视觉编码器位置嵌入将每个坐标编码为单 Token 以注入空间先验,以及采用可微符号距离场(SDF)监督来适应不规则几何形状。

来源:arXiv · 机器人与计算机视觉 · arxiv.org