arXiv · 机器人与计算机视觉· Qijian Tian, Jiayu Ying, Ke Fan, Lizhuang Ma, Xin Tan·· 2026-10-20精选AI 评分82
从视图到世界:面向视觉语言模型的 3D 世界主动探索框架
From Views to Worlds: Active Exploration over 3D Worlds for Vision-Language Models
AI 导读
针对现有视觉语言模型在三维空间推理中受限于被动视角的问题,本文提出 View-to-World (V2W) 框架。该框架通过重建包含几何、相机姿态和语义的显式 3D 世界,使 VLM 能通过多轮交互主动获取空间证据进行推理。实验表明,该方法在不需训练的情况下显著优于基线,且经强化学习优化探索策略后达到最先进水平。
推荐理由
提出无需训练的主动探索框架,将 VLM 从被动感知升级为基于 3D 世界的主动推理。
来源:arXiv · 机器人与计算机视觉 · arxiv.org