跳到正文
arXiv · 机器人与计算机视觉· Jiarui Chen, Zeqiang Lai, Jiangshan Wang, Ziheng Ouyang, Ye Huang, Xiangyu Yue, Cewu Lu, Chunchao Guo·· 2026-10-06精选AI 评分82

MC-Sparse:解构并弥合扩散 Transformer 中稠密与稀疏注意力的差距

MC-Sparse: Deconstructing and Closing the Dense-Sparse Attention Gap in Diffusion Transformers

AI 导读

该论文针对视频和高分辨率 3D 资产生成任务中稀疏注意力方法导致质量下降的问题,通过受控对比分析将其归因于令牌分组约束、交互选择不准及丢弃令牌导致的贡献丢失。作者提出 Meta-Cached Sparse Attention (MC-Sparse) 框架,在无需训练的情况下选择单个 KV 令牌并将相似查询组织为与瓦片对齐的组以适配 GPU 执行。

推荐理由

原文通过受控对比分析稀疏注意力导致质量下降的三大根源,提出无需训练的 Meta-Cached Sparse Attention 框架。

来源:arXiv · 机器人与计算机视觉 · arxiv.org