跳到正文
arXiv · 机器人与计算机视觉· Zhuoqi Hu, Shiwei Li, Haozhao Wang, Xiandi Luo, Yihao Ouyang, Wenting Shen, Ang Wang, Jiamang Wang, Minyi Guo, Ruixuan Li·· 13 小时前AI 评分54

扩散 Transformer 应在何处遇见其教师?——AdaREPA 自适应路由框架

Where Should a Diffusion Transformer Meet Its Teacher?

AI 导读

该论文针对 Representation Alignment (REPA) 方法中固定监督层的局限,提出 AdaREPA 框架。该方法通过测量流匹配与对齐目标之间的梯度兼容性,以 softmax 分布在线采样最佳监督层,从而适应学生模型随训练进程变化的学习需求。实验表明,在 ImageNet-256 上,AdaREPA 能加速收敛并提升生成质量,且无额外推理成本。

来源:arXiv · 机器人与计算机视觉 · arxiv.org