跳到正文
arXiv · 机器人与计算机视觉· Jianwen Wu, Meiling Wang, Junkang Zhou, Yipeng Shen, Haoran You·· 2 天前精选AI 评分78

PoCoAttn:位置 - 内容协作稀疏注意力用于快速高保真视频生成

PoCoAttn: Position-Content Collaborative Sparse Attention for Fast and High-Fidelity Video Generation

AI 导读

针对视频扩散 Transformer 中全注意力机制计算成本高的问题,本文提出 PoCoAttn,一种免训练的稀疏注意力框架。该方法将注意力分解为输入稳定的位置先验和输入依赖的内容残差,离线校准位置键并在线自适应选择内容键,同时通过步长自适应预算分配优化去噪轨迹中的误差放大效应。

推荐理由

提出免训练稀疏注意力框架,在保持高保真视频生成的同时显著降低推理延迟。

来源:arXiv · 机器人与计算机视觉 · arxiv.org