跳到正文
arXiv · 机器人与计算机视觉· Shashwat Singh, He He, Tal Linzen·· 2026-10-20AI 评分73

A failure of Imagination:VLMs 无法利用视觉表征处理文本任务,但自蒸馏可助益

A failure of Imagination: VLMs fail to use visual representations for text, but self-distillation can help

AI 导读

论文探讨视觉语言模型在视觉对齐后是否改变了其文本表征的视觉结构。研究通过形状计数任务发现,尽管模型能回答图像问题,但在纯文本描述的几何问题上表现并未提升,且解码器嵌入缺乏视觉结构。作者提出一种优化目标,将上下文中的视觉嵌入蒸馏到文本嵌入中,无需显式监督即可在复杂样本上提升纯文本任务的性能,表明传统的 VQA 风格对齐未充分利用跨模态迁移潜力。

来源:arXiv · 机器人与计算机视觉 · arxiv.org