arXiv · 机器人与计算机视觉· Jie Zhu, Mingyu Ding, Boqiang Duan, Leye Wang, Jingdong Wang·· 23 天前AI 评分58
揭示 Diffusion Transformer 中 AdaLN-Zero 的秘密:零初始化是关键
Unveiling the Secret of AdaLN-Zero in Diffusion Transformer
AI 导读
该研究深入调查了扩散 Transformer(DiT)中的关键调节机制 adaLN-Zero,发现其优于 adaLN 的核心在于零初始化策略。作者提出了分析引导的初始化方法 adaLN-Gaussian 以验证分析并提升优化效率,同时引入基于 SE 结构的改进机制 SE-adaLN-Zero。
来源:arXiv · 机器人与计算机视觉 · arxiv.org