跳到正文
arXiv · 机器人与计算机视觉· Zhiyun Shi·· 16 天前AI 评分74

VLMs Read Aloud:揭示视觉文本模型在识别与使用之间的差距

VLMs Read Aloud: The Gap Between Recognizing and Using Visual Text

AI 导读

论文发现视觉大模型能逐字转录图像中的文字却无法有效利用,存在‘读用差距’。提出的 ALOUD 方法将视觉分辨率用于寻找证据、语言 token 用于处理信息,在不保留原文的情况下,使 Qwen3-VL-8B 在压缩 5 倍的长文档上准确率从 27.7% 提升至 54.8%,接近原始文本的 58.5%。

来源:arXiv · 机器人与计算机视觉 · arxiv.org