跳到正文
arXiv · 机器人与计算机视觉· Bin Xu, Mo Zhang, Zhengfeiyang Zhang, Xinfeng Yang, Yixing Ma, Wei Wang, HeXin Wang, Pengfei Zhou, Wangbo Zhao·· 20 天前精选AI 评分84

AB-Attention:加速视频扩散 Transformer 的精确块注意力方法

AB-Attention: Accurate Block Attention for Accelerating Video Diffusion Transformers

AI 导读

针对视频扩散模型推理中三维全注意力二次方成本高的问题,现有动态稀疏注意力在激进稀疏下保真度下降。本文提出免训练的 AB-Attention 方法,通过仅在查询块内聚类估算重要性、按包含概率加权采样以及优化内核以利用 Tensor Core,在保持甚至提升 PSNR(最高提升 4.4 dB)的同时跳过 89--92% 的注意力计算,实现高达 2.23 倍的端到端加速。代码已开源。

推荐理由

提出免训练的高效视频扩散注意力机制,在 Wan2.1 和 HunyuanVideo 上跳过 89-92% 计算量同时提升 PSNR。

来源:arXiv · 机器人与计算机视觉 · arxiv.org