arXiv · 机器人与计算机视觉· Nikola {\DJ}uki\'c, Tim Lebailly, Tinne Tuytelaars·· 6 天前AI 评分74
语义一致性视角下的多模态大语言模型:一种视觉中心的方法
Semantic Consistency of Vision Tokens: A Vision-Centric Perspective on Multimodal Large Language Models
AI 导读
针对多模态大语言模型在视觉中心任务中的表现,研究定义了视觉 token 的语义一致性与不一致性。通过移除实验发现模型高度依赖语义一致的 token。提出的语义引导训练方法结合语言建模与语义一致性最小化目标,在保持文本对齐的同时提升视觉任务性能,并在多项基准测试中达到平均最优效果。
来源:arXiv · 机器人与计算机视觉 · arxiv.org