arXiv · 机器人与计算机视觉· Zhen Huang, Shuwei Li, Ruizhe Yao, Xinrui Chen, Danyi Liu, Haoyuan Liang, Zhiyu Ye, Qiuyan Sun, Bingwei Chen, Yiyuan Li, Xu Zhou, Haohuan Fu·· 14 小时前AI 评分58
每查询自路由:利用逐查询路由稀疏注意力加速视频扩散 Transformer
Every Query Routes Itself: Accelerating Video Diffusion Transformers with Per-Query Routed Sparse Attention
AI 导读
针对长 Token 序列主导视频扩散 Transformer 推理成本的问题,本文提出无需训练的 PQRS 方法。该方法仅对 Key 进行聚类,允许每个 Query 独立选择其专属的 Key 簇,并利用未选中簇的中心补偿以维持精度。
来源:arXiv · 机器人与计算机视觉 · arxiv.org