arXiv · 机器人与计算机视觉· Junqing Du, Fernando Ropero, Erkin Turkoz, Yanfeng Zhang, Lu Liu·· 2026-10-20精选AI 评分82
GraFT:一种基于三维场景图的免训练多模态大语言模型空间推理框架
GraFT: A Training-Free Framework for Spatial Reasoning in Multimodal Large Language Models via 3D Scene Graphs
AI 导读
论文 GraFT 针对当前多模态大语言模型在几何测量、视角转换及细粒度外观定位上的不足,提出无需微调的解决方案。该方法通过紧凑的三维场景图(3DSG)向冻结模型提供三维结构信息,具体形式包括符号工具计算的值、鸟瞰图图像以及由几何选定的以自我为中心的画面。
推荐理由
GraFT 提出无需微调的框架,通过图结构为冻结模型补充三维信息,在 ScanQA 和 VSI-Bench 上显著优于基线。
来源:arXiv · 机器人与计算机视觉 · arxiv.org