跳到正文
arXiv · 机器人与计算机视觉· Yi Tan, Beier Zhu, Sirui Chen, Yunzhe Lin, Yuan Zhou, Cheng Chen, Xingyu Zhu, Tianrun Chen, Yanbin Hao, Hanwang Zhang·· 16 天前精选AI 评分78

解锁对比正则化在扩散 Transformer 训练中的潜力:CRAN 方法

Unlocking the Potential of Contrastive Regularization for Diffusion Transformer Training

AI 导读

论文发现标准 InfoNCE 对比学习在扩散 Transformer 训练中因噪声捷径而收益有限,为此提出 Clean Representation-ANchored Contrastive (CRAN) 正则化方法。

推荐理由

针对扩散 Transformer 训练中 InfoNCE 对比学习失效问题,提出 CRAN 正则化方法以抑制噪声捷径并提升模型效果。

来源:arXiv · 机器人与计算机视觉 · arxiv.org