arXiv · 机器人与计算机视觉· Gyeonghun Kang, William Xingxu Chen, Xiang Cheng·· 28 天前精选AI 评分78
扩散 Transformer 如何去除噪声?注意力与 MLP 的聚合器 - 预测器视角解读
How Do DiTs Denoise? An Aggregator-Predictor View of Attention and MLPs
AI 导读
arXiv 论文提出将扩散 Transformer(DiT)视为输入自适应的局部去噪器,其中上下文聚合对应注意力机制,补丁预测对应 MLP。研究证实 DiT 在真实图像上训练时表现出与高斯马尔可夫随机场分析一致的去噪上下文依赖性与注意力分布模式,且共享内存补丁预测器可作为 MLP 的有效替代方案。
推荐理由
该文从聚合器 - 预测器视角解析 DiT 的去噪机制,为架构级微调与干预提供理论依据。
来源:arXiv · 机器人与计算机视觉 · arxiv.org