跳到正文
arXiv · 机器人与计算机视觉· Aadith Warrier, Gnana Prakash Punnavajhala, Siddharth Tourani, Muhammad Haris Khan, Avinash Sharma, Madhava Krishna·· 21 天前精选AI 评分82

CrossWeave:基于稀疏 2D-3D 对齐的跨模态场景与实例检索

CrossWeave: Cross-Modal Scene and Instance Retrieval from Sparse 2D-3D Alignment

AI 导读

论文提出 CrossWeave 框架,旨在通过查询 2D 图像检索对应的 3D 环境或物体,作为机器人空间推理的基础机制。现有方法仅在整体场景或物体层面学习对齐,缺乏细粒度局部结构监督;CrossWeave 证明仅对一组稀疏的 2D-3D 对应关系进行监督即可训练单模型同时完成场景级和实例级检索。

推荐理由

提出CrossWeave框架,通过稀疏2D-3D对应关系监督实现单模型跨模态检索,在ScanNet和3RScan数据集上超越现有方法。

来源:arXiv · 机器人与计算机视觉 · arxiv.org