跳到正文
arXiv · 机器人与计算机视觉· Binglei Li, Mengping Yang, Zhiyu Tan, Wenxu Qian, Junping Zhang, Hao Li·· 2026-10-12AI 评分43

文本生成 Transformer 中的注意力汇洞研究

Exploring Attention Sinks in Text-to-Image Transformers from Diffusion and Autoregressive Models

AI 导读

该研究探索了双向扩散模型与因果自回归模型中注意力汇洞的存在性、位置及功能影响。实验发现,自回归模型关注首尾全局 token,而双向模型在模态边界和空间角落形成汇洞;扰动前者显著改变生成结果,后者则影响有限。引入寄存器 token 可重分布注意力并维持或提升性能,证实该现象是架构与推理阶段依赖的机制分析基础。

来源:arXiv · 机器人与计算机视觉 · arxiv.org