arXiv · 机器人与计算机视觉· Liu He, Yizhi Song, Ruiqi Xu, Baris Sarper Tezcan, Xiao Zeng, Albert Y. C. Chen, Lu Xia, Shashwat Verma, Sankalp Dayal, Min Sun, Cheng-Hao Kuo, Daniel Aliaga·· 14 小时前AI 评分65
Ultimate3D:通过大规模视觉指令数据教多模态大语言模型理解三维相机与物体关系
Ultimate3D: Teaching Multimodal LLMs 3D Camera-Object Relations by Large-Scale Visual Instruction Data
AI 导读
针对现有多模态大语言模型难以准确捕捉相机与物体关系(如物体朝向、视点)的问题,作者提出一种合成生成管线,利用 3D 资产和渲染及扩散模型创建保留精确关系的照片级真实图像,并由大语言模型生成文本提示以指导视觉指令微调。
来源:arXiv · 机器人与计算机视觉 · arxiv.org