跳到正文
arXiv · 机器人与计算机视觉· Zhaoying Pan, Shenyu Lu, Jun Hui Wong, Junyi Chai, Xiaoqian Wang·· 9 天前AI 评分72

超越模态偏好:在 MLLM 模态冲突下控制多模态仲裁

Beyond Modality Preference: Controlling Multimodal Arbitration under Modality Conflict in MLLMs

AI 导读

针对多模态大语言模型(MLLMs)在输入模态不一致时可能偏向不可靠模态的问题,研究团队识别出一组能因果影响预测遵循视觉还是文本证据的注意力头(arbitration heads)。在此基础上,提出一种轻量级、无需训练的推理干预方法,通过在推理阶段引导这些头部向指定可信模态倾斜,实现对多模态依赖的有效双向控制。该方法在多个基准测试中表现稳定且具备泛化能力,代码已开源。

来源:arXiv · 机器人与计算机视觉 · arxiv.org