跳到正文
arXiv · 机器人与计算机视觉· Wenyue Chen, Wenjue Chen, Peng Li, Qinghe Wang, Xu Jia, Heliang Zheng, Rongfei Jia, Yuan Liu, Ronggang Wang·· 23 天前AI 评分65

Know3D:利用视觉 - 语言模型知识提示 3D 生成

Know3D: Prompting 3D Generation with Knowledge from Vision-Language Models

AI 导读

该论文提出 Know3D 框架,旨在解决现有 3D 生成模型因单视图观察模糊和缺乏全局结构先验而导致的未观测区域(如背面)随机性过强及几何不合理问题。该方法通过潜在隐藏状态注入技术,将多模态大语言模型的丰富知识融入 3D 生成过程:利用视觉 - 语言模型进行语义理解与引导,扩散模型作为桥梁转移语义知识至 3D 生成模型。

来源:arXiv · 机器人与计算机视觉 · arxiv.org