跳到正文
arXiv · 机器人与计算机视觉· Sheridan Feucht, Benno Krojer, Sarah Wang, Henry Abrahamsen, Byron C. Wallace, David Bau·· 16 天前AI 评分70

利用OCR头进行图像语义 verbalization 的研究

Using OCR Heads to Verbalize Image Semantics

AI 导读

本文研究了视觉语言模型(VLM)如何从像素映射到语义,聚焦于光学字符识别(OCR)机制。研究者在四个模型中鉴定出对OCR因果必要的注意力头,发现这些头实际上是通用的,能在所有图像 token 上输出可解释的语义特征(如将“bike”或“feathers”作为标签)。

来源:arXiv · 机器人与计算机视觉 · arxiv.org