arXiv · 机器人与计算机视觉· Arpita Shanbhag, Julia Tran, Dhruv Mandala, Ayda Sultan·· 9 天前AI 评分57
Process then Retrieve:探究视觉语言模型中模态差距的起源
Process then Retrieve: Investigating the Origins of the Modality Gap in Vision-Language Models
AI 导读
该论文调查了视觉语言模型(VLM)中模态差距的成因,发现文本嵌入层的语义密度远低于视觉嵌入层,导致早期网络层优先处理文本表示。研究通过机制分析证明,用语义最接近的文本令牌替换视觉令牌位置可增强早期层的注意力,这为改善多模态推理架构提供了基础洞察。
来源:arXiv · 机器人与计算机视觉 · arxiv.org