arXiv · 机器人与计算机视觉· Maxime Dassen, Alexander Martin, Andrew Yates, Reno Kriz, William Walden·· 23 天前AI 评分58
Grounding on Request:VLM 的模态控制学习方法
Grounding on Request: Learning Modality Control in Vision-Language Models
AI 导读
该预印本研究评估并提出了在视觉语言模型中实现可靠模态控制的方法。当图像与文本描述冲突时,仅凭答案正确性无法判断模型是否遵循了指定模态的证据。作者通过引入新词嵌入和反事实双边距监督,训练模型区分视觉与文本依据。
来源:arXiv · 机器人与计算机视觉 · arxiv.org