跳到正文
热点事件持续更新

提出 SHRINK 方法优化 VLM 注意力机制

1 篇报道1 个报道来源14 小时前更新

先了解这件事

AI 综述

Hui Zhu 等人提交论文,提出无需训练的 SHRINK 方法。该方法通过部分减少可见键中的 Sink 对齐分量来抑制干扰,旨在解决视觉语言模型中 Sink Token 对注意力的影响。在 LLaVA-OneVision-7B 和 Qwen2.5-VL-3B 等模型上测试显示,SHRINK 显著提升了采样推理的平均准确率,并可替代现有的注意力引导技术 GIFT 和 ACG。

AI 根据报道生成 · 13 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. arXiv · 机器人与计算机视觉
    超越 Sink Token:基于 Sink 引导的键编辑在视觉语言模型中的应用

    本文研究了视觉语言模型中 Sink Token 对注意力的影响,发现其键方向可控制注意力分布。作者提出无需训练的 SHRINK 方法,通过部分减少可见键中的 Sink 对齐分量来抑制干扰,在 LLaVA-OneVision-7B 和 Qwen2.5-VL-3B 等模型上显著提升了采样推理的平均准确率。此外,该方法还可替代现有的注意力引导技术 GIFT 和 ACG。

本事件热度走势

可比范围当前
7
可比范围峰值
1011月19日 14:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。