跳到正文
arXiv · 机器人与计算机视觉· Haopeng Li, Shitong Shao, Wenliang Zhong, Zikai Zhou, Lichen Bai, Hui Xiong, Zeke Xie·· 29 天前精选AI 评分78

PISA:分段稀疏注意力更明智——用于高效扩散 Transformer

PISA: Piecewise Sparse Attention Is Wiser for Efficient Diffusion Transformers

AI 导读

论文提出 PISA,一种无需训练的 Piecewise Sparse Attention 方法,旨在解决扩散 Transformer 的二次复杂度瓶颈。该方法发现非关键块注意力分数具有分布稳定性,采用“关键块精确计算、其余块通过块级泰勒展开近似”的策略,而非直接丢弃信息。

推荐理由

提出无需训练的 PISA 方法,通过分段泰勒展开近似非关键块注意力,在 Wan2.1、Hunyuan-Video 及 FLUX 上实现加速并保持最高生成质量。

来源:arXiv · 机器人与计算机视觉 · arxiv.org