跳到正文
arXiv · 机器人与计算机视觉· Xinyi Zheng, Yunze Liu, Chi-Hao Wu, Fan Zhang, Hao Zheng, Wenqi Zhou, Walterio W. Mayol-Cuevas, Junxiao Shen·· 27 天前精选AI 评分84

SpatialMem:面向语言定位与问答的度量对齐长视界视频记忆系统

SpatialMem: Metric-Aligned Long-Horizon Video Memory for Language Grounding and QA

AI 导读

SpatialMem 是一个整合 3D 几何、语义和语言的统一可查询表示的记忆系统。该系统基于随意录制的以自我为中心的 RGB 视频重建度量缩放的室内场景,识别结构锚点(墙、门、窗)作为底层支架,并将开放词汇对象节点与证据片段、视觉嵌入及两层描述关联到 3D 坐标,从而实现无需特殊传感器的空间关系推理、语言导向检索和问答。

推荐理由

该工作提出融合几何与语义的可查询记忆系统,在无需特殊传感器的条件下实现长视频的空间推理与问答。

来源:arXiv · 机器人与计算机视觉 · arxiv.org