跳到正文
arXiv · 机器人与计算机视觉· Israfel Salazar, Stella Frank, Dan Oneata, Desmond Elliott, Constanza Fierro·· 27 天前AI 评分35

VLMs 视觉信息流动路径研究:直接路径与文本中介机制分析

Pathways of Visual Information Flow in Vision-Language Models

AI 导读

该研究利用因果打补丁技术,揭示视觉语言模型(VLMs)通过“直接路径”和“文本中介路径”两种独立方式解决视觉任务。实验表明路径选择依赖具体任务、数据分布及提示词设计,且在常规路径受损时可灵活切换至备用机制。这一发现为理解 VLM 内部视觉信息流动提供了机理层面的统一解释。

来源:arXiv · 机器人与计算机视觉 · arxiv.org