跳到正文
arXiv · 机器人与计算机视觉· Jintao Zhang, Haoxu Wang, Kai Jiang, Kaiwen Zheng, Youhe Jiang, Ion Stoica, Jianfei Chen, Jun Zhu, Joseph E. Gonzalez·· 2026-10-20AI 评分53

SLA2:一种结合可学习路由与量化感知的稀疏线性注意力方法

SLA2: Sparse-Linear Attention with Learnable Routing and Quantization-aware Training

AI 导读

该论文针对现有稀疏线性注意力(SLA)依赖启发式分割及分解不匹配的问题,提出 SLA2 架构。其核心改进包括引入动态选择分支的可学习路由器、采用更忠实于数学定义的混合公式以及通过量化感知微调实现的低比特注意力设计。实验表明,在视频扩散模型上,该方法实现了 97% 的注意力稀疏度,带来 18.6 倍的速度提升,同时保持了生成质量。

来源:arXiv · 机器人与计算机视觉 · arxiv.org