跳到正文
arXiv · 机器人与计算机视觉· Andong Hua, Colton Bishop, Igor Mordatch, Arian Hosseini, Jindong Gu, Aleksandra Faust, Rebecca Roelofs, Yao Qin·· 2026-10-12AI 评分72

TokenSwap:基准测试与减少多模态大模型的模态差距

TokenSwap: Benchmarking and Reducing the Modality Gap in Multimodal LLMs

AI 导读

论文定义模态差距为语义等价文本与多模态输入间的性能差异,提出TokenSwap方法构造图文交错序列以评估42个MLLM模型,发现推理类模型差距更小且提示或单纯扩算力无法有效缓解,证明在训练中引入该方法能有效提升跨模态对齐。

来源:arXiv · 机器人与计算机视觉 · arxiv.org