跳到正文
arXiv · 机器人与计算机视觉· Zhiliang Wu, Xinye Zheng, Kun Li, Fei Wang, Hao Guo, Yanyan Wei, Guanghui Yue, Beier Zhu, Wei Zhou, Xun Yang·· 20 天前AI 评分58

MLLM-GS:基于多模态大语言模型先验的极端环境快速新视角合成

MLLM-GS: Multimodal Large Language Model Prior-Guided Fast Novel View Synthesis in Extreme Environments

AI 导读

针对极端环境下图像严重退化导致的新视角合成(NVS)难题,本文提出 MLLM-GS 框架。该框架包含两个分支:一是利用冻结的多模态大语言模型(MLLM)丰富视觉先验来增强受损视图,并通过轻量级校正网络减少像素错位和色彩偏差;二是优化光栅化、高斯内存布局和参数更新以提升 3DGS 效率。实验表明,该方法在多种退化场景中能有效处理严重干扰,实现高质量重建且显著降低计算时间和显存消耗。

来源:arXiv · 机器人与计算机视觉 · arxiv.org