跳到正文
arXiv · 机器人与计算机视觉· Jie Zhu, Mingyu Ding, Boqiang Duan, Leye Wang, Jingdong Wang·· 23 天前AI 评分58

揭示 Diffusion Transformer 中 AdaLN-Zero 的秘密:零初始化是关键

Unveiling the Secret of AdaLN-Zero in Diffusion Transformer

AI 导读

该研究深入调查了扩散 Transformer(DiT)中的关键调节机制 adaLN-Zero,发现其优于 adaLN 的核心在于零初始化策略。作者提出了分析引导的初始化方法 adaLN-Gaussian 以验证分析并提升优化效率,同时引入基于 SE 结构的改进机制 SE-adaLN-Zero。

来源:arXiv · 机器人与计算机视觉 · arxiv.org