arXiv · 机器人与计算机视觉· Xinyi Zheng, Yunze Liu, Chi-Hao Wu, Fan Zhang, Hao Zheng, Wenqi Zhou, Walterio W. Mayol-Cuevas, Junxiao Shen·· 27 天前精选AI 评分84
SpatialMem:面向语言定位与问答的度量对齐长视界视频记忆系统
SpatialMem: Metric-Aligned Long-Horizon Video Memory for Language Grounding and QA
AI 导读
SpatialMem 是一个整合 3D 几何、语义和语言的统一可查询表示的记忆系统。该系统基于随意录制的以自我为中心的 RGB 视频重建度量缩放的室内场景,识别结构锚点(墙、门、窗)作为底层支架,并将开放词汇对象节点与证据片段、视觉嵌入及两层描述关联到 3D 坐标,从而实现无需特殊传感器的空间关系推理、语言导向检索和问答。
推荐理由
该工作提出融合几何与语义的可查询记忆系统,在无需特殊传感器的条件下实现长视频的空间推理与问答。
来源:arXiv · 机器人与计算机视觉 · arxiv.org