arXiv · 机器人与计算机视觉· Cheng Liang, Haoxian Chen, Liang Hou, Qi Fan, Gangshan Wu, Xin Tao, Limin Wang·· 6 天前AI 评分70
VMonarch:一种用于视频扩散 Transformer 的高效结构化注意力机制
VMonarch: Efficient Video Diffusion Transformers with Structured Attention
AI 导读
针对视频扩散 Transformer(Video DiTs)中注意力机制二次复杂度限制上下文扩展性的问题,本文提出 VMonarch 新机制。该方法利用 Monarch 矩阵表示稀疏时空注意力模式,通过时空因子化显式捕捉帧内与帧间相关性,引入重计算策略缓解交替最小化带来的伪影,并融合在线熵算法实现长序列的快速更新。
来源:arXiv · 机器人与计算机视觉 · arxiv.org