arXiv · 机器人与计算机视觉· Robert Moseley, Md Kaykobad Reza, Ameya Patil, Edward Ayrapetian, Salman Asif·· 2026-10-16精选AI 评分85
MSP:一种无需成对跨模态数据的多模态大模型训练方法
MSP: Modality Self-Play for Training Multimodal LLMs Without Paired Cross-Modal Data
AI 导读
该论文提出了 Modality Self-Play (MSP) 框架,旨在解决对齐多模态数据集昂贵且难以扩展的问题。该方法利用代理文本描述作为未见模态的语义桥梁,使模型在仅观测到真实锚点模态(如图像或音频)及伴随的代理描述的情况下,无需真实的成对非文本监督即可实现零样本跨模态组合与推理。
推荐理由
提出无需成对跨模态数据的训练框架,利用代理文本作为语义桥梁实现零样本多模态组合。
来源:arXiv · 机器人与计算机视觉 · arxiv.org