arXiv · 机器人与计算机视觉· Puwei Lian, Yujun Cai, Songze Li, Yuezu Lv, Guanghui Wen·· 2 天前AI 评分58
通过投影抑制缓解扩散模型记忆化:少量注意力头即可实现
Memorization Lives in a Few Attention Heads: Mitigating Memorization in Diffusion Models via Projection-Based Suppression
AI 导读
该论文提出 Projection-based Top-k Attention Head Suppression 方法,旨在缓解扩散模型的训练样本记忆化问题。研究发现记忆化主要由少数具有异常强语义控制的浅层注意力头驱动。
来源:arXiv · 机器人与计算机视觉 · arxiv.org