跳到正文
arXiv · 机器人与计算机视觉· Dongyeun Lee, Amir Zandieh, Vahab Mirrokni, Junmo Kim, Insu Han·· 13 天前AI 评分68

HyperVAttention:基于时空聚类的视频扩散高效稀疏注意力方法

HyperVAttention: Efficient Sparse Attention with Spatio-Temporal Clustering for Video Diffusion

AI 导读

论文提出 HyperVAttention(HVA),一种免训练的视频扩散稀疏注意力框架,旨在解决现有聚类方法的聚类开销大和计算单元利用率低的问题。该方法引入 3D 局部窗口聚类以利用视频 token 的时空邻近性,采用混合聚类策略仅在锚点步骤执行完整聚类,并利用硬件感知的集群合并优化并行聚合式合并以提升块密度与近似保真度。

来源:arXiv · 机器人与计算机视觉 · arxiv.org