跳到正文
arXiv · 机器人与计算机视觉· Haolei Xu, Haiwen Hong, Hongxing Li, Rui Zhou, Yang Zhang, Longtao Huang, Hui Xue, Yongliang Shen, Weiming Lu, Yueting Zhuang·· 2 天前精选AI 评分82

Seeing but Not Thinking:多模态混合专家模型中的路由干扰研究

Seeing but Not Thinking: Routing Distraction in Multimodal Mixture-of-Experts

AI 导读

该论文揭示了多模态混合专家(MoE)模型在视觉语言任务中存在的“看得见却想不出”现象,即模型能准确感知图像内容却在后续推理上失败,而纯文本输入却能正确解决相同问题。

推荐理由

研究发现多模态 MoE 模型存在视觉感知与推理脱节现象,提出路由干扰假设并验证了通过干预激活领域专家可提升复杂视觉推理任务性能。

来源:arXiv · 机器人与计算机视觉 · arxiv.org