跳到正文
arXiv · 机器人与计算机视觉· Mi Luo, Rohan Dugad, Zihui Xue, Alex Dimakis, Kristen Grauman·· 9 天前精选AI 评分82

Mental Imagery That Matters:治愈多模态推理中的潜在坍缩

Mental Imagery That Matters: Curing Latent Collapse in Multimodal Reasoning

AI 导读

该论文提出 Mental Simulation Collapse (MSC) 现象,指出当前多模态大模型在潜在空间进行视觉推理时,往往仅通过文本路径计算答案,内部生成的视觉潜变量对结果影响微乎其微。作者引入 AnchorSim 对比蒸馏框架训练模型,使生成的视觉潜变量变得关键,从而在多模态推理基准上提升性能并修复该失效模式。

推荐理由

本文揭示了潜在多模态推理中的‘思维模拟崩塌’失效模式,并提出 AnchorSim 框架使内部视觉状态对预测产生实质性影响。

来源:arXiv · 机器人与计算机视觉 · arxiv.org