arXiv · 机器人与计算机视觉· Moritz Pawlowsky, Antonis Vamvakeros, Alexander Weiss, Anja Bielefeld, Samuel J. Cooper, Ronan Docherty·· 3 天前AI 评分56
DINO 所见:ALiBi 位置编码消除 Vision Transformer 的位置偏差
What DINO saw: ALiBi positional encoding reduces positional bias in Vision Transformers
AI 导读
论文指出 Vision Transformers(如 DINOv2)存在独立于语义内容的位置偏差与伪影,导致在无优选方向的领域(如材料科学截面图)难以进行零样本适配。研究通过线性探测验证了该偏差的普遍性,并证明通过微调模型采用 ALiBi 相对位置编码可消除这种偏差,同时保留良好的通用语义特征,使其成功应用于复杂显微图像的 trainable segmentation。
来源:arXiv · 机器人与计算机视觉 · arxiv.org