arXiv · 机器人与计算机视觉· Majun Zhang, Yuan Guo, Decheng Wu, Jiayang Xu, Changhao Pan, Fan Zhuo, Xiaoda Yang, Chenyuhao Wen, Zhou Zhao·· 2 天前AI 评分36
Sparse Attention for Visual Generation:面向视觉生成的稀疏注意力算法与系统协同设计综述
Sparse Attention for Visual Generation: Toward Algorithm-System Co-Design
AI 导读
针对高分辨率图像视频生成中稠密自注意力计算成本高的瓶颈,该研究提出通过保留关键查询 - 键交互并省略次要部分来降低算力开销。文章基于"4+1+3"分析框架,从数据组织、执行和数据流三个系统维度,综述了静态与动态稀疏方法的算法设计及硬件实现策略。此外,文中总结了通用评估指标,指出了开放挑战并为研究人员提供了算法与系统联合设计的参考指南。
来源:arXiv · 机器人与计算机视觉 · arxiv.org