arXiv · 机器人与计算机视觉· Benyuan Meng, Longtao Huang, Yang Liu, Liang Lin·· 13 天前AI 评分65
We Have Been Interpreting Diffusion Transformer Backbone Behaviors Wrong
We Have Been Interpreting Diffusion Transformer Backbone Behaviors Wrong
AI 导读
本文指出扩散模型社区对深度激活曲线(inverted-U)的常见解释可能不准确,提出该曲线源于预测目标(如ε、u、x0)的选择,而非单纯的信号粒度变化。研究证明训练中的预测目标选择可预测地影响曲线形状,并据此优化了 REPA 等应用的近优放置位置。代码已开源。
来源:arXiv · 机器人与计算机视觉 · arxiv.org