跳到正文
arXiv · 机器人与计算机视觉· Jiachun Jin, Zetong Zhou, Xiao Yang, Hao Zhang, Pengfei Liu, Jun Zhu, Zhijie Deng·· 2 天前精选AI 评分82

LatentUM:通过潜在空间统一模型释放交错跨模态推理潜力

LatentUM: Unleashing the Potential of Interleaved Cross-Modal Reasoning via a Latent-Space Unified Model

AI 导读

论文介绍 LatentUM 统一模型,其核心创新在于将所有模态表示于共享语义潜在空间中,消除生成视觉状态时的像素解码中介,使内部推理更灵活高效。实验显示该模型在 Visual Spatial Planning 基准上达到最先进水平,通过自我反思提升视觉生成功能,并在共享空间内预测未来视觉状态以展示世界建模能力。代码与模型已开源,论文为 NeurIPS 2026 Oral 录用版本。

推荐理由

该工作提出共享语义潜在空间的统一模型架构,消除像素解码依赖,在视觉空间规划基准上达到最先进水平并展示世界建模能力。

来源:arXiv · 机器人与计算机视觉 · arxiv.org