arXiv · 机器人与计算机视觉· Hui Zhu, Saleh Zare Zade, Rafi Ibn Sultan, Xiangyu Zhou, Dongxiao Zhu·· 13 小时前AI 评分54
超越 Sink Token:基于 Sink 引导的键编辑在视觉语言模型中的应用
Beyond the Sink Token: Sink-Guided Key Editing in Vision-Language Models
AI 导读
本文研究了视觉语言模型中 Sink Token 对注意力的影响,发现其键方向可控制注意力分布。作者提出无需训练的 SHRINK 方法,通过部分减少可见键中的 Sink 对齐分量来抑制干扰,在 LLaVA-OneVision-7B 和 Qwen2.5-VL-3B 等模型上显著提升了采样推理的平均准确率。此外,该方法还可替代现有的注意力引导技术 GIFT 和 ACG。
来源:arXiv · 机器人与计算机视觉 · arxiv.org