arXiv · 机器人与计算机视觉· Ruixin Fan, Weining Wang, Jiahui Sun, Tailai Chen, Jing Liu·· 20 天前AI 评分62
DiFuse:通过融合原生扩散表示提升统一多模态模型的空间推理能力
DiFuse: Fusing Native Diffusion Representations for Spatial Reasoning in Unified Multimodal Models
AI 导读
本文提出 DiFuse 方法,旨在解决统一多模态模型中视觉理解与图像生成间信息流不对称的问题。研究选择性地将模型原生分支的中间扩散表示注入到理解路径的多模态解码器层中,通过残差融合实现空间对齐。
来源:arXiv · 机器人与计算机视觉 · arxiv.org