arXiv · 机器人与计算机视觉· Yanting Miao, Yutao Sun, Dexin Wang, Mengyu Zhou, Pascal Poupart, Lei Lv, Qi Zhao, Li Wang, Hao Li, Xiaoxi Jiang, Guanjun Jiang·· 6 天前AI 评分75
Fill the GAP:多模态大语言模型的视觉推理颗粒度对齐范式
Fill the GAP: A Granular Alignment Paradigm for Visual Reasoning in Multimodal Large Language Models
AI 导读
论文 Fill the GAP 提出一种针对多模态大语言模型(MLLM)的视觉隐式推理新范式,旨在解决现有方法因特征空间失配导致的不稳定增益问题。该方法在数据、特征和模型三个层面进行对齐:利用可检查的辅助视觉监督锚定隐式目标;通过轻量级 PCA 对齐头将解码器输出映射为输入兼容的视觉潜变量;并选择性地将隐式监督分配给基础模型表现困难的样本。
来源:arXiv · 机器人与计算机视觉 · arxiv.org