跳到正文
arXiv · 机器人与计算机视觉· Junyao Gao, Sibo Liu, Jiaxing Li, Yanan Sun, Hanxin Zhu, Weidong Zhang, Jun Zhang, Cairong Zhao·· 28 天前精选AI 评分78

Attn-Forcing:为流式视频生成学习全上下文注意力代理

Attn-Forcing: Learning Full-Context Attention Proxies for Streaming Video Generation

AI 导读

针对流式视频生成中增加注意力上下文长度带来的高昂计算与内存成本问题,本文提出 Attn-Forcing 框架。该方法引入可学习的视觉潜在变量作为注意力代理,利用代理更新模块融合历史视觉上下文,并通过注意力匹配损失显式约束代理的注意力行为以保留全上下文贡献。实验表明,Attn-Forcing 在保持有限资源的前提下,一致提升了流式视频生成质量,并优于现有基线方法。

推荐理由

提出 Attn-Forcing 框架,通过注意力代理在有限资源下保留全上下文贡献,显著提升了流式视频生成质量。

来源:arXiv · 机器人与计算机视觉 · arxiv.org