跳到正文
arXiv · 机器人与计算机视觉· Joshua Muhumuza, Cornelius Kalenzi·· 2026-10-16精选AI 评分78

Vision Transformers 中的虚假注意力头:医学胸部 X 光分析中标注驱动偏差的机制识别

Spurious Attention Heads in Vision Transformers: Mechanistic Identification of Annotation-Driven Bias in Medical Chest X-Ray Analysis

AI 导读

论文应用机制可解释性方法,在 ViT-Base 16 模型中定位到一个专门读取注释文本而非肺病理的单一注意力头(L8H10)。因果验证证实该行为由标注内容驱动,移除后肺部注意力增加。该现象在 NIH ChestX-ray14、DeiT-Base 和 ViT-Large 16 三个架构上复现。全量微调无法抑制该偏差甚至可能强化它,且单头消融显示输出级评估完全无法察觉此因果电路。

推荐理由

通过机制可解释性发现 ViT 模型在医疗影像中利用注释文本而非病灶进行推理的虚假注意力头,且该偏差无法通过微调消除。

来源:arXiv · 机器人与计算机视觉 · arxiv.org