跳到正文
arXiv · 机器人与计算机视觉· Qijian Tian, Jiayu Ying, Ke Fan, Lizhuang Ma, Xin Tan·· 2026-10-20精选AI 评分82

从视图到世界:面向视觉语言模型的 3D 世界主动探索框架

From Views to Worlds: Active Exploration over 3D Worlds for Vision-Language Models

AI 导读

针对现有视觉语言模型在三维空间推理中受限于被动视角的问题,本文提出 View-to-World (V2W) 框架。该框架通过重建包含几何、相机姿态和语义的显式 3D 世界,使 VLM 能通过多轮交互主动获取空间证据进行推理。实验表明,该方法在不需训练的情况下显著优于基线,且经强化学习优化探索策略后达到最先进水平。

推荐理由

提出无需训练的主动探索框架,将 VLM 从被动感知升级为基于 3D 世界的主动推理。

来源:arXiv · 机器人与计算机视觉 · arxiv.org