跳到正文
arXiv · 机器人与计算机视觉· Jintao Zhang, Kai Jiang, Chendong Xiang, Weiqi Feng, Yuezhou Hu, Haocheng Xi, Jianfei Chen, Jun Zhu·· 2026-10-20AI 评分70

SpargeAttention2:基于混合 Top-k+Top-p 掩码与蒸馏微调的可训练稀疏注意力方法

SpargeAttention2: Trainable Sparse Attention via Hybrid Top-k+Top-p Masking and Distillation Fine-Tuning

AI 导读

该文提出 SpargeAttention2,一种针对扩散模型的可训练稀疏注意力机制。研究分析了传统掩码规则的失效条件及微调局限性,提出了结合 Top-k 和 Top-p 的混合掩码策略、高效实现以及蒸馏式的微调目标。实验表明该方法在视频扩散模型上实现了 95% 的注意力稀疏度和 16.2 倍加速,同时保持了生成质量,优于现有方法。

来源:arXiv · 机器人与计算机视觉 · arxiv.org