arXiv · 机器人与计算机视觉· Dominick Reilly, Qiyu Wu, Hiromi Wakaki, Srijan Das, Yuki Mitsufuji·· 16 天前AI 评分35
Mixture of Probes 框架在特权模态设置下实现多模态大模型性能提升
Mixture of Probes: Learning from Privileged Modalities in Multimodal LLMs Through Probing
AI 导读
Mixture of Probes(MoP)提出一种通过探测机制解耦模态特定与通用信号的框架,解决推理时仅部分模态可用的问题。该方案引入 MoP-X 训练策略防止探测坍塌,在涵盖八项任务的四类模态评估中,相比强基线模型最高提升 65% 性能。代码、检查点及评估协议将于 https URL 公开,论文提交至 NeurIPS 2026。
来源:arXiv · 机器人与计算机视觉 · arxiv.org