跳到正文
arXiv · 机器人与计算机视觉· Viraj Shah, Ashwini Pokle, Peyman Milanfar, Mauricio Delbracio, Hossein Talebi·· 13 天前精选AI 评分78

OptIMerge:一种基于优化的扩散模型融合方法

OptIMerge: Optimization-Based Merging of Diffusion Models

AI 导读

针对图像到图像(I2I)扩散模型在多任务学习中的参数干扰与伪影问题,本文提出了 OptIMerge 框架。该方法通过最小化多任务损失函数学习轻量级合并系数,利用架构感知的变换对齐注意力层与卷积层的特征,在冻结专家网络的前提下实现了媲美联合训练的多任务能力。

推荐理由

提出基于优化的多任务融合框架,解决图像修复类扩散模型直接平均导致的伪影问题。

来源:arXiv · 机器人与计算机视觉 · arxiv.org