arXiv · 机器人与计算机视觉· Khalil Sabri, Guillaume-Alexandre Bilodeau, Nicolas Saunier, Wassim Bouachir·· 6 天前AI 评分56
物体即地址:Vision Transformer 注意力中的实例绑定机制
Objects as Addresses: Instance Binding in Vision Transformer Attention
AI 导读
该预印本论文研究了预训练 Vision Transformer 如何内在实现物体绑定能力。研究发现在八个预训练模型中,实例分离主要体现于注意力路由而非 token 内容;同一物体的不同部分共享特定的‘注意力地址’(查询组件指向的图像区域),而相同类别的不同个体则获得可移动的独立地址。编辑该查询组件即可重定向注意力地址以区分个体。
来源:arXiv · 机器人与计算机视觉 · arxiv.org