跳到正文
arXiv · 机器人与计算机视觉· Zecheng Tang, Jiaye Fu, Youtian Lin, Xinyao Rao, Liuxuan Sun, Jian Zhang, Yao Yao, Wei Li·· 13 小时前AI 评分74

Spark-H3:面向视频扩散模型的自适应块稀疏注意力

Spark-H3: Adaptive Block Sparse Attention for Video Diffusion Models

AI 导读

针对长序列视频生成中注意力计算成本高的问题,该研究提出了 Spark-Attn 方法并集成至 MiniMax-H3 模型。该方法包含无需训练的 Spark-Reblock(递归按注意力偏好分组)和 Spark-Reweight(利用全局均值查询校准压缩块的注意力质量)。

来源:arXiv · 机器人与计算机视觉 · arxiv.org