跳到正文
arXiv · 机器人与计算机视觉· Yuwei Sun, Yuxuan Yao, Hui Li, Weihao Yuan, Siyu Zhu·· 14 天前AI 评分70

ReMoA:基于稀疏潜在优化的多模态扩散模型递归模块化适应框架

ReMoA: Recursive Modular Adaptation via Sparse Latent Refinement in Multimodal Diffusion Models

AI 导读

该论文提出 ReMoA 框架,将递归模块化适应机制集成至常规扩散模型的联合注意力层中,通过稀疏选择神经模块在多个递归步骤内迭代优化视觉 token。实验表明,该方法在不引入额外参数的情况下,显著提升了 ImageNet 分类条件下的生成召回率及 GenEval 基准上的文本对齐效果。分析显示神经模块在不同扩散步长上实现专业化分工,支持上下文自适应的潜在轨迹细化。

来源:arXiv · 机器人与计算机视觉 · arxiv.org