跳到正文
arXiv · 机器人与计算机视觉· Javad Rajabi, Kimia Shaban, Koorosh Roohi, David B. Lindell, Babak Taati·· 2 天前AI 评分62

SEGA:基于频谱能量引导注意力的扩散 Transformer 分辨率外推方法

SEGA: Spectral-Energy Guided Attention for Resolution Extrapolation in Diffusion Transformers

AI 导读

针对扩散 Transformer 在生成超训练范围分辨率时性能下降的问题,本文提出 SEGA 方法。该方法无需额外训练,通过在去噪步骤中根据潜变量的空间频率结构动态调整 Rotary Position Embeddings 各组件的注意力缩放比例,从而改善高分辨率合成中的结构一致性与细节保真度。实验表明,SEGA 在多种目标分辨率下均能提升生成质量,优于现有免训练基线。

来源:arXiv · 机器人与计算机视觉 · arxiv.org